Git Stars Git Stars

#llm-evaluation Repositorios

108
Total de Repositorios
444,825
Total de estrellas
4,118
Promedio de Estrellas/Repo

108 repositorios en total

51
JackHopkins/factorio-learning-environment

Un entorno no saturante y abierto para evaluar LLM en Factorio

JackHopkins
⭐ 1,224 Python 👤 JackHopkins User 🕐 Actualizado 2026-09-18 📅 Creado 2021-06-19
52
cvs-health/uqlm

[JMLR 2026] UQLM: un paquete de Python para detectar alucinaciones en modelos de lenguaje grandes mediante la cuantificación de la incertidumbre

cvs-health
⭐ 1,215 Python 👤 cvs-health Organization 🕐 Actualizado 2026-11-08 📅 Creado 2025-04-17
54
togethercomputer/together-cookbook

Una colección de cuadernos/recetas que muestran casos de uso de modelos de código abierto con Together AI.

togethercomputer
⭐ 1,191 Jupyter Notebook 👤 togethercomputer Organization 🕐 Actualizado 2026-11-18 📅 Creado 2024-10-07
55
wandb/weave

Weave es un kit de herramientas para desarrollar aplicaciones impulsadas por IA, creado por Weights & Biases.

wandb
⭐ 1,151 Python 👤 wandb Organization 🕐 Actualizado 2026-11-20 📅 Creado 2023-06-07
56
xinxuxin/keystone-bench

Un punto de referencia de evidencia para decisiones clínicas: extraer el único hecho en el que se basa una respuesta y comprobar si la acción del asistente cambia conforme a la evidencia. Basado en HealthBench.

xinxuxin
⭐ 1,130 Python 👤 xinxuxin User 🕐 Actualizado 2026-10-19 📅 Creado 2026-09-07
57
Jwuthri/Tracely-ai

CI/CD nativo de trazas para agentes de IA: los fallos en producción se convierten en pruebas de regresión que bloquean el PR. Detección y agrupación automáticas, conversión en casos herméticos y reproducción en CI por 0 $.

Jwuthri
⭐ 1,122 Python 👤 Jwuthri User 🕐 Actualizado 2026-11-21 📅 Creado 2026-06-03
58
Arena-OSS/arena-hard-auto

Arena-Hard-Auto: Un punto de referencia LLM automático.

Arena-OSS
⭐ 1,087 Python 👤 Arena-OSS Organization 🕐 Actualizado 2026-11-20 📅 Creado 2023-11-04
59
braintrustdata/autoevals

AutoEvals es una herramienta para evaluar rápida y fácilmente las salidas de los modelos de IA utilizando las mejores prácticas.

braintrustdata
⭐ 1,087 Python 👤 braintrustdata Organization 🕐 Actualizado 2026-11-19 📅 Creado 2023-07-11
60
Continuum-AI-Corp/OrcaReplay

OrcaReplay — Viaje en el tiempo para agentes de IA. Graba, reproduce, bifurca y depura cualquier ejecución de un agente con cualquier modelo. Creado por el equipo de OrcaRouter.ai.

Continuum-AI-Corp
⭐ 1,083 TypeScript 👤 Continuum-AI-Corp Organization 🕐 Actualizado 2026-10-01 📅 Creado 2026-08-29
62
JudgmentLabs/judgeval

La pila de mejora continua para agentes. Nuestros datos de entorno y evaluaciones impulsan la mejora y el monitoreo de agentes.

JudgmentLabs
⭐ 1,073 Python 👤 JudgmentLabs Organization 🕐 Actualizado 2026-11-19 📅 Creado 2024-10-25
63
ray-project/llmperf

LLMPerf es una biblioteca para validar y evaluar LLM

ray-project
⭐ 1,066 Python 👤 ray-project Organization 🕐 Actualizado 2024-12-09 📅 Creado 2023-10-10
64
benchflow-ai/awesome-evals

Una biblioteca seleccionada y sin tonterías de los mejores recursos para construir y evaluar agentes de IA: artículos, blogs, charlas, herramientas, benchmarks. Mantenida por BenchFlow.

benchflow-ai
⭐ 1,049 👤 benchflow-ai Organization 🕐 Actualizado 2026-11-04 📅 Creado 2026-06-24
65
amazon-science/RAGChecker

RAGChecker: Un marco detallado para diagnosticar RAG

amazon-science
⭐ 1,032 Python 👤 amazon-science Organization 🕐 Actualizado 2024-12-13 📅 Creado 2024-06-24
66
majacinka/crewai-experiments

Experimentos con modelos locales y modelos disponibles a través de una API

majacinka
⭐ 1,006 Python 👤 majacinka User 🕐 Actualizado 2024-05-05 📅 Creado 2024-01-13
67
KCORES/kcores-llm-arena

LLM Arena del equipo KCORES

KCORES
⭐ 960 HTML 👤 KCORES Organization 🕐 Actualizado 2025-04-29 📅 Creado 2025-02-12
68
superwesleyhys-ux/factcircuit

FactCircuit: un ciclo auditable de verificación de afirmaciones y evidencias, con procedencia inmutable, comprobaciones por etapas, recuperación acotada y evaluación reproducible.

superwesleyhys-ux
⭐ 926 Python 👤 superwesleyhys-ux User 🕐 Actualizado 2026-11-13 📅 Creado 2026-09-06
70
hinthornw/promptimizer

Scratch de optimización de indicaciones

hinthornw
⭐ 899 Python 👤 hinthornw User 🕐 Actualizado 2025-04-17 📅 Creado 2024-10-30
71
xlang-ai/Spider2

[ICLR 2025 Oral] Spider 2.0: Evaluación de modelos de lenguaje en flujos de trabajo reales de Text-to-SQL empresariales

xlang-ai
⭐ 890 HTML 👤 xlang-ai Organization 🕐 Actualizado 2026-08-12 📅 Creado 2024-08-22
72
yule-BUAA/MergeLM

Código base para la fusión de modelos de lenguaje (ICML 2024)

yule-BUAA
⭐ 862 Python 👤 yule-BUAA User 🕐 Actualizado 2024-05-05 📅 Creado 2023-11-06
73
jwuthri-cloud/Tracely-ai

CI/CD nativo de trazas para agentes de IA: evalúa las trazas de producción, agrupa los fallos, conviértelos en pruebas de regresión reproducibles y bloquea los PR que introduzcan regresiones. Se puede alojar por cuenta propia.

jwuthri-cloud
⭐ 850 Python 👤 jwuthri-cloud User 🕐 Actualizado 2026-11-16 📅 Creado 2026-10-11
74
darkrishabh/agent-skills-eval

Un ejecutor de pruebas para habilidades de agentes de IA al estilo de agentskills.io

darkrishabh
⭐ 819 TypeScript 👤 darkrishabh User 🕐 Actualizado 2026-11-16 📅 Creado 2026-05-06
75
tjunlp-lab/Awesome-LLMs-Evaluation-Papers

Los artículos están organizados de acuerdo con nuestra encuesta: Evaluating Large Language Models: A Comprehensive Survey.

tjunlp-lab
⭐ 791 👤 tjunlp-lab User 🕐 Actualizado 2024-05-08 📅 Creado 2023-10-29
77
overmind-core/overmind

La plataforma para mejorar continuamente los agentes de IA.

overmind-core
⭐ 771 Python 👤 overmind-core Organization 🕐 Actualizado 2026-11-21 📅 Creado 2026-03-27
79
OpenLMLab/GAOKAO-Bench

GAOKAO-Bench es un marco de evaluación que utiliza preguntas de GAOKAO como conjunto de datos para evaluar grandes modelos de lenguaje.

OpenLMLab
⭐ 754 Python 👤 OpenLMLab Organization 🕐 Actualizado 2025-01-07 📅 Creado 2023-04-16
80
EverMind-AI/SkillCorpus

Infraestructura de código abierto que convierte archivos SKILL.md dispersos en corpus de habilidades de agentes seleccionados y listos para la recuperación, con herramientas de recuperación y evaluación incluidas.

EverMind-AI
⭐ 706 Python 👤 EverMind-AI Organization 🕐 Actualizado 2026-11-19 📅 Creado 2026-08-11
81
Steven-Luo/MasteringRAG

Sistema RAG empresarial: de principiante a experto

Steven-Luo
⭐ 699 Jupyter Notebook 👤 Steven-Luo User 🕐 Actualizado 2025-06-25 📅 Creado 2024-07-16
82
mlabonne/llm-autoeval

Evalúa automáticamente tus LLM en Google Colab

mlabonne
⭐ 678 Python 👤 mlabonne User 🕐 Actualizado 2024-05-07 📅 Creado 2024-01-01
83
onejune2018/Awesome-LLM-Eval

Awesome-LLM-Eval: una lista curada de herramientas, conjuntos de datos/benchmarks, demostraciones, tablas de clasificación, artículos, documentos y modelos, principalmente para la Evaluación en LLMs. Una lista curada de herramientas, benchmarks/datos, demostraciones, tablas de clasificación y grandes modelos, que se enfoca principalmente en la evaluación de grandes modelos base, con el objetivo de explorar los límites tecnológicos de la IA generativa.

onejune2018
⭐ 661 👤 onejune2018 User 🕐 Actualizado 2025-11-24 📅 Creado 2023-04-26
84
wanghao-SunSky/cs329z-chinese

Tutorial en chino de Stanford CS329Z Engineering AI Agents: un curso de agentes de IA para desarrolladores de Python, con 19 lecciones y 4 proyectos prácticos, que abarca LLM, RAG, uso de herramientas, memoria, sistemas multiagente, evaluación y seguridad. Markdown completo y HTML para uso en línea y sin conexión. Apuntes del curso en chino.

wanghao-SunSky
⭐ 658 HTML 👤 wanghao-SunSky User 🕐 Actualizado 2026-11-06 📅 Creado 2026-10-28
85
ValueByte-AI/Awesome-LLM-in-Social-Science

Impresionantes artículos que involucran LLM en Ciencias Sociales.

ValueByte-AI
⭐ 652 👤 ValueByte-AI Organization 🕐 Actualizado 2026-11-14 📅 Creado 2023-10-15
86
codefuse-ai/codefuse-devops-eval

Benchmark de evaluación pionero en la industria para LLM en el dominio DevOps/AIOps.

codefuse-ai
⭐ 646 Python 👤 codefuse-ai Organization 🕐 Actualizado 2024-07-10 📅 Creado 2023-09-28
87
onyx-dot-app/EnterpriseRAG-Bench

Conjunto de datos y referencia para RAG en documentos internos de la empresa.

onyx-dot-app
⭐ 639 👤 onyx-dot-app Organization 🕐 Actualizado 2026-09-03 📅 Creado 2026-02-19
88
HowieHwong/TrustLLM

[ICML 2024] TrustLLM: evaluación de la confiabilidad de los LLM en términos de veracidad, seguridad, equidad, robustez, privacidad y ética. Kit de herramientas de Python/CLI para modelos locales, API compatibles y orquestación de agentes de IA.

HowieHwong
⭐ 635 Python 👤 HowieHwong User 🕐 Actualizado 2026-10-04 📅 Creado 2023-12-23
89
inclusionAI/ASearcher

Un Proyecto de Aprendizaje por Refuerzo a Gran Escala de Código Abierto para Agentes de Búsqueda

inclusionAI
⭐ 617 Python 👤 inclusionAI Organization 🕐 Actualizado 2025-11-26 📅 Creado 2025-08-05
90
mlfoundations/evalchemy

Evaluaciones automáticas para LLM

mlfoundations
⭐ 617 HTML 👤 mlfoundations Organization 🕐 Actualizado 2026-11-12 📅 Creado 2024-11-15
92
SalesforceAIResearch/MCP-Universe

MCP-Universe es un marco integral diseñado para el entrenamiento RL, el benchmarking y el desarrollo de agentes de IA para el uso general de herramientas.

SalesforceAIResearch
⭐ 606 Python 👤 SalesforceAIResearch Organization 🕐 Actualizado 2026-10-08 📅 Creado 2025-05-02
93
CSHaitao/Awesome-LLMs-as-Judges

El repositorio oficial del artículo, LLMs-as-Judges: Una encuesta completa sobre métodos de evaluación basados en LLM.

CSHaitao
⭐ 600 👤 CSHaitao User 🕐 Actualizado 2025-07-29 📅 Creado 2024-11-10
94
harish-gaggar/mcp-server-gateway

Pasarela MCP y servidores MCP con OAuth. Agente LangGraph: memoria, evaluación/seguimiento, protección de información de identificación personal (PII) y recorte del contexto. Guía de inicio rápido con Docker para agentes empresariales.

harish-gaggar
⭐ 588 Python 👤 harish-gaggar User 🕐 Actualizado 2026-10-03 📅 Creado 2026-08-17
95
yfzhang114/Thyme

✨✨ [ICLR 2026] Piensa más allá de las imágenes

yfzhang114
⭐ 585 Python 👤 yfzhang114 User 🕐 Actualizado 2025-09-23 📅 Creado 2025-08-17
96
General-Analysis/GA

Una enciclopedia de técnicas de jailbreaking para hacer que los modelos de IA sean más seguros.

General-Analysis
⭐ 583 Jupyter Notebook 👤 General-Analysis Organization 🕐 Actualizado 2025-05-26 📅 Creado 2025-01-18
98
juanjuandog/FinSight-AI

Agente de investigación de renta variable basado en IA, con flujos de trabajo resilientes, RAG fundamentado en evidencia, informes versionados y evaluación automatizada de la calidad.

juanjuandog
⭐ 562 Java 👤 juanjuandog User 🕐 Actualizado 2026-09-02 📅 Creado 2026-05-11
100
RUCAIBox/HaluEval

Este es el repositorio de HaluEval, un punto de referencia de evaluación de alucinaciones a gran escala para modelos de lenguaje grandes.

RUCAIBox
⭐ 540 Python 👤 RUCAIBox Organization 🕐 Actualizado 2024-02-12 📅 Creado 2023-05-18