Git Stars Git Stars

#evaluation Repositorios

89
Total de Repositorios
369,872
Total de estrellas
4,155
Promedio de Estrellas/Repo

89 repositorios en total

51
chunxiaoxx/nautilus-compass

Capa abierta de memoria y fiabilidad para agentes de IA + evaluación/verificación independiente (juez NACRE, metabenchmark caliber-bench, criterios prerregistrados) — de Nautilus Platform

chunxiaoxx
⭐ 1,260 Python 👤 chunxiaoxx User 🕐 Actualizado 2026-11-19 📅 Creado 2026-04-27
52
run-house/kubetorch

Distribuya y ejecute cargas de trabajo de IA en Kubernetes mágicamente en Python, como PyTorch para la infraestructura de ML.

run-house
⭐ 1,228 Python 👤 run-house Organization 🕐 Actualizado 2026-05-29 📅 Creado 2022-05-10
53
google/fuzzbench

FuzzBench - Benchmarking de fuzzers como servicio.

google
⭐ 1,211 Python 👤 google Organization 🕐 Actualizado 2026-01-26 📅 Creado 2020-02-04
54
toshas/torch-fidelity

Métricas de rendimiento de alta fidelidad para modelos generativos en PyTorch

toshas
⭐ 1,205 Python 👤 toshas User 🕐 Actualizado 2026-10-25 📅 Creado 2020-04-23
55
ncalc/ncalc

NCalc es una biblioteca rápida y ligera de evaluación de expresiones para .NET, diseñada para flexibilidad y alto rendimiento. Soporta una amplia gama de operaciones matemáticas y lógicas.

ncalc
⭐ 1,172 C# 👤 ncalc Organization 🕐 Actualizado 2026-11-21 📅 Creado 2017-11-15
56
xinxuxin/keystone-bench

Un punto de referencia de evidencia para decisiones clínicas: extraer el único hecho en el que se basa una respuesta y comprobar si la acción del asistente cambia conforme a la evidencia. Basado en HealthBench.

xinxuxin
⭐ 1,130 Python 👤 xinxuxin User 🕐 Actualizado 2026-10-19 📅 Creado 2026-09-07
57
Jwuthri/Tracely-ai

CI/CD nativo de trazas para agentes de IA: los fallos en producción se convierten en pruebas de regresión que bloquean el PR. Detección y agrupación automáticas, conversión en casos herméticos y reproducción en CI por 0 $.

Jwuthri
⭐ 1,122 Python 👤 Jwuthri User 🕐 Actualizado 2026-11-21 📅 Creado 2026-06-03
58
agentscope-ai/OpenJudge

OpenJudge: Un marco unificado para la evaluación holística y recompensas de calidad

agentscope-ai
⭐ 1,121 Python 👤 agentscope-ai Organization 🕐 Actualizado 2026-11-21 📅 Creado 2025-07-08
59
prometheus-eval/prometheus-eval

Evalúa la respuesta de tu LLM con Prometheus y GPT4 💯

prometheus-eval
⭐ 1,087 Python 👤 prometheus-eval Organization 🕐 Actualizado 2025-04-25 📅 Creado 2024-04-18
60
langchain-ai/langsmith-sdk

Implementaciones del SDK cliente de LangSmith

langchain-ai
⭐ 1,082 Python 👤 langchain-ai Organization 🕐 Actualizado 2026-10-16 📅 Creado 2023-05-30
61
MAC-AutoML/MindPipe

Un marco potente de compresión de modelos para LLMs y LVLMs, adaptado para GPUs NVIDIA y NPUs Huawei Ascend.

MAC-AutoML
⭐ 1,013 Python 👤 MAC-AutoML Organization 🕐 Actualizado 2026-08-11 📅 Creado 2026-01-22
62
nolabs-ai/deepfabric

Genere sintéticos de alta calidad, entrene, mida y evalúe en un solo pipeline

nolabs-ai
⭐ 896 Python 👤 nolabs-ai Organization 🕐 Actualizado 2026-11-13 📅 Creado 2024-10-25
63
PRBonn/semantic-kitti-api

API de SemanticKITTI para visualizar el conjunto de datos, procesar datos y evaluar resultados.

PRBonn
⭐ 895 Python 👤 PRBonn Organization 🕐 Actualizado 2025-04-03 📅 Creado 2019-07-24
64
suyoumo/ClawProBench

ClawProBench es un arnés de benchmark con prioridad en pruebas en vivo para evaluar agentes LLM en el entorno de ejecución OpenClaw con calificación determinística y fiabilidad en pruebas repetidas.

suyoumo
⭐ 829 Rust 👤 suyoumo User 🕐 Actualizado 2026-08-25 📅 Creado 2025-03-02
65
PaesslerAG/gval

Evaluación de expresiones en Golang

PaesslerAG
⭐ 819 Go 👤 PaesslerAG Organization 🕐 Actualizado 2026-09-13 📅 Creado 2017-09-27
66
robocurve/inspect-robots

Evaluaciones de código abierto para la IA física. Ejecuta cualquier LLM/VLA en cualquier brazo robótico o humanoide frente a cualquier benchmark real o simulado.

robocurve
⭐ 776 Python 👤 robocurve Organization 🕐 Actualizado 2026-11-11 📅 Creado 2026-06-26
67
angular/web-codegen-scorer

Web Codegen Scorer es una herramienta para evaluar la calidad del código web generado por los LLM.

angular
⭐ 774 TypeScript 👤 angular Organization 🕐 Actualizado 2026-05-05 📅 Creado 2025-09-04
68
IntelLabs/RAG-FiT

Framework para mejorar los LLM para tareas RAG mediante fine-tuning.

IntelLabs
⭐ 766 Python 👤 IntelLabs Organization 🕐 Actualizado 2026-06-08 📅 Creado 2024-07-23
69
ModelTC/LightCompress

[EMNLP 2024 & AAAI 2026] Un potente kit de herramientas para comprimir modelos grandes, incluidos LLM, VLM y modelos generativos de video.

ModelTC
⭐ 755 Python 👤 ModelTC Organization 🕐 Actualizado 2026-05-14 📅 Creado 2024-03-06
70
comet-ml/opik-openclaw

🦞 Plugin oficial para OpenClaw que exporta trazas de agentes a Opik. Ve y monitorea el comportamiento del agente, costo, tokens, errores y más.

comet-ml
⭐ 723 TypeScript 👤 comet-ml Organization 🕐 Actualizado 2026-11-20 📅 Creado 2026-03-02
71
AgentSafeLabs/safelabs-eval

Marco de pruebas de equipo rojo y evaluación para agentes de IA, basado en una taxonomía ASI01–ASI10 inspirada en OWASP

AgentSafeLabs
⭐ 713 Python 👤 AgentSafeLabs Organization 🕐 Actualizado 2026-11-06 📅 Creado 2026-05-25
72
bochinski/iou-tracker

Implementación en Python del IOU Tracker

bochinski
⭐ 701 Python 👤 bochinski User 🕐 Actualizado 2026-06-14 📅 Creado 2017-07-25
73
google-deepmind/long-form-factuality

Benchmarking de la factualidad a largo plazo en modelos de lenguaje grandes. Código original de nuestro artículo "Long-form factuality in large language models".

google-deepmind
⭐ 698 Python 👤 google-deepmind Organization 🕐 Actualizado 2026-06-18 📅 Creado 2024-03-25
74
AmenRa/ranx

⚡️Una biblioteca Python ultrarrápida para evaluación, comparación y fusión de rankings 🐍

AmenRa
⭐ 691 Python 👤 AmenRa User 🕐 Actualizado 2025-08-07 📅 Creado 2020-06-02
75
onejune2018/Awesome-LLM-Eval

Awesome-LLM-Eval: una lista curada de herramientas, conjuntos de datos/benchmarks, demostraciones, tablas de clasificación, artículos, documentos y modelos, principalmente para la Evaluación en LLMs. Una lista curada de herramientas, benchmarks/datos, demostraciones, tablas de clasificación y grandes modelos, que se enfoca principalmente en la evaluación de grandes modelos base, con el objetivo de explorar los límites tecnológicos de la IA generativa.

onejune2018
⭐ 661 👤 onejune2018 User 🕐 Actualizado 2025-11-24 📅 Creado 2023-04-26
76
run-llama/ParseBench

ParseBench - Un punto de referencia de análisis de documentos para agentes de IA

run-llama
⭐ 650 Python 👤 run-llama Organization 🕐 Actualizado 2026-11-21 📅 Creado 2026-04-10
77
ucinlp/autoprompt

AutoPrompt: Construcción Automática de Prompts para Modelos de Lenguaje Enmascarado.

ucinlp
⭐ 643 Python 👤 ucinlp Organization 🕐 Actualizado 2026-09-02 📅 Creado 2020-03-01
78
chrisliu298/awesome-llm-unlearning

Un repositorio de recursos para el desaprendizaje automático en modelos de lenguaje grandes

chrisliu298
⭐ 640 👤 chrisliu298 User 🕐 Actualizado 2026-10-06 📅 Creado 2024-03-27
79
onyx-dot-app/EnterpriseRAG-Bench

Conjunto de datos y referencia para RAG en documentos internos de la empresa.

onyx-dot-app
⭐ 639 👤 onyx-dot-app Organization 🕐 Actualizado 2026-09-03 📅 Creado 2026-02-19
80
HowieHwong/TrustLLM

[ICML 2024] TrustLLM: evaluación de la confiabilidad de los LLM en términos de veracidad, seguridad, equidad, robustez, privacidad y ética. Kit de herramientas de Python/CLI para modelos locales, API compatibles y orquestación de agentes de IA.

HowieHwong
⭐ 635 Python 👤 HowieHwong User 🕐 Actualizado 2026-10-04 📅 Creado 2023-12-23
81
tecnickcom/tcexam

TCExam es un sistema CBA (Computer-Based Assessment) (e-exam, CBT - Computer Based Testing) para universidades, escuelas y empresas, que permite a los educadores y formadores crear, programar, entregar e informar sobre encuestas, cuestionarios, pruebas y exámenes.

tecnickcom
⭐ 634 PHP 👤 tecnickcom Organization 🕐 Actualizado 2026-11-21 📅 Creado 2013-04-15
82
codingseb/ExpressionEvaluator

Un evaluador simple de expresiones matemáticas y pseudo C# en un solo archivo C#. También puede ejecutar pequeños scripts similares a C#

codingseb
⭐ 630 C# 👤 codingseb User 🕐 Actualizado 2025-09-08 📅 Creado 2017-03-15
83
danthedeckie/simpleeval

Evaluador de expresiones simple, seguro, aislado y extensible para Python

danthedeckie
⭐ 618 Python 👤 danthedeckie User 🕐 Actualizado 2026-10-25 📅 Creado 2013-12-03
84
DocAILab/XRAG

XRAG: eXamining the Core - Evaluación comparativa de módulos de componentes fundamentales en la generación avanzada aumentada mediante recuperación

DocAILab
⭐ 612 Python 👤 DocAILab Organization 🕐 Actualizado 2026-11-01 📅 Creado 2024-09-07
85
MMMU-Benchmark/MMMU

Este repositorio contiene el código de evaluación para el artículo "MMMU: A Massive Multi-discipline Multimodal Understanding and Reasoning Benchmark for Expert AGI"

MMMU-Benchmark
⭐ 601 Python 👤 MMMU-Benchmark Organization 🕐 Actualizado 2026-11-13 📅 Creado 2023-11-23
86
jkkummerfeld/text2sql-data

Una colección de conjuntos de datos que emparejan preguntas con consultas SQL.

jkkummerfeld
⭐ 587 Python 👤 jkkummerfeld User 🕐 Actualizado 2025-03-03 📅 Creado 2018-05-11
87
GrumpyZhou/image-matching-toolbox

Este es un repositorio de herramientas para ayudar a evaluar varios métodos que realizan la coincidencia de imágenes a partir de un par de imágenes.

GrumpyZhou
⭐ 586 Jupyter Notebook 👤 GrumpyZhou User 🕐 Actualizado 2024-04-29 📅 Creado 2020-11-24
88
facebookresearch/meta-agents-research-environments

Meta Agents Research Environments es una plataforma integral diseñada para evaluar agentes de IA en escenarios dinámicos y realistas. A diferencia de los puntos de referencia estáticos, esta plataforma introduce entornos en evolución donde los agentes deben adaptar sus estrategias a medida que hay nueva información disponible, reflejando los desafíos del mundo real.

facebookresearch
⭐ 581 Python 👤 facebookresearch Organization 🕐 Actualizado 2026-09-30 📅 Creado 2025-09-11
89
SeekingDream/Static-to-Dynamic-LLMEval

El repositorio oficial de GitHub del paper "Recent advances in large language model benchmarks against data contamination: From static to dynamic evaluation"

SeekingDream
⭐ 500 👤 SeekingDream User 🕐 Actualizado 2026-09-28 📅 Creado 2025-02-21