Git Stars Git Stars

#evaluation Repositorios

Descubre 89 repositorios activos de código abierto de GitHub etiquetados con #evaluation, que acumulan 369,872 estrellas en total (una media de 4,155 estrellas por proyecto). El líder de este tema es lm-sys/FastChat, con 39,550 estrellas.

89
Total de Repositorios
369,872
Total de estrellas
4,155
Promedio de Estrellas/Repo

89 repositorios en total

1
lm-sys/FastChat

Una plataforma abierta para entrenar, servir y evaluar grandes modelos de lenguaje. Repositorio de lanzamiento para Vicuna y Chatbot Arena.

lm-sys
⭐ 39,550 Python 👤 lm-sys Organization 🕐 Actualizado 2026-05-01 📅 Creado 2023-03-19
2
Tencent/WeKnora

Plataforma de conocimiento LLM de código abierto: convierte documentos crudos en un RAG consultable, un agente de razonamiento autónomo y una Wiki auto-mantenida.

Tencent
⭐ 37,938 Go 👤 Tencent Organization 🕐 Actualizado 2026-11-21 📅 Creado 2025-07-22
3
langfuse/langfuse

🪢 Plataforma de ingeniería de IA de código abierto: AI Gateway, observabilidad de agentes, evaluaciones y gestión de prompts y habilidades, basada en OpenTelemetry. Una plataforma abierta para cada llamada de IA y cada agente. Aloja la plataforma por tu cuenta o usa Langfuse Cloud.

langfuse
⭐ 37,696 TypeScript 👤 langfuse Organization 🕐 Actualizado 2026-11-21 📅 Creado 2023-05-18
4
mlflow/mlflow

La plataforma de ingeniería de IA de código abierto para agentes, LLMs y modelos de ML. MLflow permite a equipos de todos los tamaños depurar, evaluar, monitorear y optimizar aplicaciones de IA de calidad de producción mientras controlan costos y gestionan el acceso a modelos y datos.

mlflow
⭐ 28,920 Python 👤 mlflow Organization 🕐 Actualizado 2026-11-21 📅 Creado 2018-06-05
5
promptfoo/promptfoo

Prueba tus prompts, agentes y RAGs. Red teaming/pentesting/escaneo de vulnerabilidades para IA. Compara el rendimiento de GPT, Claude, Gemini, DeepSeek y más. Configuraciones declarativas simples con integración de línea de comandos y CI/CD. Utilizado por OpenAI y Anthropic.

promptfoo
⭐ 27,516 TypeScript 👤 promptfoo Organization 🕐 Actualizado 2026-11-21 📅 Creado 2023-04-28
6
comet-ml/opik

Depure, evalúe y supervise sus aplicaciones LLM, sistemas RAG y flujos de trabajo de agentes con trazabilidad completa, evaluaciones automatizadas y paneles listos para la producción.

comet-ml
⭐ 23,479 Java 👤 comet-ml Organization 🕐 Actualizado 2026-11-21 📅 Creado 2023-05-10
7
vibrantlabsai/ragas

Potencia tus evaluaciones de aplicaciones LLM 🚀

vibrantlabsai
⭐ 16,395 Python 👤 vibrantlabsai Organization 🕐 Actualizado 2026-11-14 📅 Creado 2023-05-08
8
open-compass/opencompass

OpenCompass es una plataforma de evaluación de modelos de lenguaje de gran escala (LLM) que admite una amplia variedad de modelos de OpenAI, Anthropic, Gemini, Qwen, GLM, DeepSeek, etc., en más de 100 conjuntos de datos que abarcan conocimientos, razonamiento, programación, ciencia, lenguaje, contexto largo y seguridad.

open-compass
⭐ 7,610 Python 👤 open-compass Organization 🕐 Actualizado 2026-11-18 📅 Creado 2023-06-15
9
alchaincyf/darwin-skill

达尔文.skill —— Un sistema que hace evolucionar infinitamente tus Skills: evaluación→mejora→prueba→mantener o rollback | Optimización autónoma de skills inspirada en Autoresearch para Claude Code. Evaluar, mejorar, probar, mantener o revertir.

alchaincyf
⭐ 7,015 HTML 👤 alchaincyf User 🕐 Actualizado 2026-11-18 📅 Creado 2026-04-13
10
Helicone/helicone

🧊 Plataforma de observabilidad LLM de código abierto. Una línea de código para monitorear, evaluar y experimentar. YC W23 🍓

Helicone
⭐ 6,292 TypeScript 👤 Helicone Organization 🕐 Actualizado 2026-11-17 📅 Creado 2023-01-31
11
coze-dev/coze-loop

Plataforma de optimización de agentes de IA de próxima generación: Cozeloop aborda los desafíos en el desarrollo de agentes de IA al proporcionar capacidades de gestión de ciclo de vida completo, desde el desarrollo, la depuración y la evaluación hasta la monitorización.

coze-dev
⭐ 5,799 Go 👤 coze-dev Organization 🕐 Actualizado 2026-11-17 📅 Creado 2025-06-24
12
Kiln-AI/Kiln

Construya, evalúe y optimice sistemas de IA. Incluye evaluaciones (evals), RAG, agentes, ajuste fino, generación de datos sintéticos, gestión de conjuntos de datos, MCP y más.

Kiln-AI
⭐ 5,286 Python 👤 Kiln-AI Organization 🕐 Actualizado 2026-11-21 📅 Creado 2024-07-23
13
langwatch/langwatch

Observabilidad y evaluación de agentes de código abierto para equipos de plataformas de IA. Rastrea, prueba, enruta y gobierna cada agente y asistente de programación de la empresa.

langwatch
⭐ 5,050 TypeScript 👤 langwatch Organization 🕐 Actualizado 2026-11-21 📅 Creado 2023-09-09
14
EvolvingLMMs-Lab/lmms-eval

Kit de evaluación multimodal One-for-All para tareas de texto, imagen, video y audio

EvolvingLMMs-Lab
⭐ 4,501 Python 👤 EvolvingLMMs-Lab Organization 🕐 Actualizado 2026-11-20 📅 Creado 2024-03-07
15
open-compass/VLMEvalKit

Kit de herramientas de evaluación de código abierto para modelos multimodales grandes (LMM), admite más de 220 LMM, más de 80 benchmarks

open-compass
⭐ 4,499 Python 👤 open-compass Organization 🕐 Actualizado 2026-11-19 📅 Creado 2023-12-01
16
MichaelGrupp/evo

Paquete de Python para la evaluación de odometría y SLAM

MichaelGrupp
⭐ 4,367 Python 👤 MichaelGrupp User 🕐 Actualizado 2026-11-15 📅 Creado 2017-09-13
17
NVIDIA/SkillEvaluator

Marco multinivel para evaluar habilidades y complementos de agentes de IA, con controles de calidad, análisis de seguridad, comprobaciones de compatibilidad con el entorno de pruebas, detección de solapamientos semánticos, generación de conjuntos de datos sintéticos para evaluación y evaluación de agentes en tiempo real que mide cómo afectan las habilidades al comportamiento del agente. Incluye plantillas de CI reutilizables que llevan todas las comprobaciones a cualquier repositorio.

NVIDIA
⭐ 4,300 Python 👤 NVIDIA Organization 🕐 Actualizado 2026-11-21 📅 Creado 2026-06-24
18
modelscope/evalscope

Un marco simplificado y personalizable para la evaluación eficiente y la evaluación comparativa del rendimiento de modelos grandes (LLM, VLM, AIGC).

modelscope
⭐ 3,715 Python 👤 modelscope Organization 🕐 Actualizado 2026-11-20 📅 Creado 2023-12-07
19
embeddings-benchmark/mteb

MTEB: Evaluación de vanguardia de embeddings en múltiples idiomas y modalidades

embeddings-benchmark
⭐ 3,519 Python 👤 embeddings-benchmark Organization 🕐 Actualizado 2026-11-21 📅 Creado 2022-04-05
20
lmnr-ai/lmnr

Laminar - plataforma de observabilidad de código abierto diseñada específicamente para agentes de IA. YC S24.

lmnr-ai
⭐ 3,516 TypeScript 👤 lmnr-ai Organization 🕐 Actualizado 2026-11-20 📅 Creado 2024-08-29
21
CLUEbenchmark/SuperCLUE

SuperCLUE: Benchmark integral para modelos grandes generales en chino | Un benchmark para modelos fundacionales en chino

CLUEbenchmark
⭐ 3,308 👤 CLUEbenchmark Organization 🕐 Actualizado 2026-02-06 📅 Creado 2023-05-02
22
viebel/klipse

Klipse es un plugin de JavaScript para incrustar fragmentos de código interactivos en blogs técnicos.

viebel
⭐ 3,134 HTML 👤 viebel User 🕐 Actualizado 2024-10-01 📅 Creado 2015-11-19
23
ianarawjo/ChainForge

Un entorno de programación visual de código abierto para probar indicaciones para LLM.

ianarawjo
⭐ 3,044 TypeScript 👤 ianarawjo User 🕐 Actualizado 2026-10-29 📅 Creado 2023-03-26
24
microsoft/promptbench

Un marco de evaluación unificado para modelos de lenguaje grandes

microsoft
⭐ 2,786 Python 👤 microsoft Organization 🕐 Actualizado 2026-02-20 📅 Creado 2023-06-13
25
yaojingang/yao-meta-skill

YAO = Obteniendo Resultados de IA. Un sistema riguroso de ingeniería, evaluación, gobernanza y portabilidad para habilidades de agentes reutilizables.

yaojingang
⭐ 2,739 Python 👤 yaojingang User 🕐 Actualizado 2026-11-09 📅 Creado 2026-03-31
26
huggingface/lighteval

Lighteval es su kit de herramientas todo en uno para evaluar LLM en múltiples backends

huggingface
⭐ 2,587 Python 👤 huggingface Organization 🕐 Actualizado 2026-11-18 📅 Creado 2024-01-26
27
huggingface/evaluate

🤗 Evaluate: Una biblioteca para evaluar fácilmente modelos y conjuntos de datos de aprendizaje automático.

huggingface
⭐ 2,498 Python 👤 huggingface Organization 🕐 Actualizado 2026-11-16 📅 Creado 2022-03-30
28
1517005260/graph-rag-agent

RAG ensamblado: Se ensamblaron y fusionaron manualmente GraphRAG, LightRAG y Neo4j-llm-graph-builder para la construcción y búsqueda de grafos de conocimiento; se integró la tecnología DeepSearch para el razonamiento RAG de dominio privado; se creó un marco de evaluación personalizado para GraphRAG.

1517005260
⭐ 2,355 Python 👤 1517005260 User 🕐 Actualizado 2025-11-05 📅 Creado 2025-02-12
29
uptrain-ai/uptrain

UpTrain es una plataforma unificada de código abierto para evaluar y mejorar aplicaciones de IA generativa. Proporcionamos calificaciones para más de 20 verificaciones preconfiguradas (que cubren casos de uso de lenguaje, código y embeddings), realizamos análisis de causa raíz en casos de fallo y brindamos información sobre cómo resolverlos.

uptrain-ai
⭐ 2,337 Python 👤 uptrain-ai Organization 🕐 Actualizado 2024-08-18 📅 Creado 2022-11-07
30
MCPJam/inspector

Plataforma de prueba y evaluación para chatear, inspeccionar y depurar servidores MCP, aplicaciones MCP y aplicaciones ChatGPT.

MCPJam
⭐ 2,331 TypeScript 👤 MCPJam Organization 🕐 Actualizado 2026-11-21 📅 Creado 2025-05-23
31
Sahir619/fable-method

El flujo de trabajo de Fable: cómo funcionó Claude Fable 5, destilado en habilidades que cualquier modelo puede ejecutar, con la evaluación que lo mantiene honesto. Piensa / actúa / demuestra.

Sahir619
⭐ 2,324 Python 👤 Sahir619 User 🕐 Actualizado 2026-10-03 📅 Creado 2026-07-06
32
Xnhyacinth/Awesome-LLM-Long-Context-Modeling

📰 Artículos y blogs de lectura obligatoria sobre modelado de contexto largo basado en LLM 🔥

Xnhyacinth
⭐ 2,191 👤 Xnhyacinth User 🕐 Actualizado 2026-11-13 📅 Creado 2023-09-17
33
huggingface/evaluation-guidebook

¡Compartiendo tanto conocimientos prácticos como teóricos sobre la evaluación de LLM que recopilamos mientras gestionábamos la Open LLM Leaderboard y diseñábamos lighteval!

huggingface
⭐ 2,166 Jupyter Notebook 👤 huggingface Organization 🕐 Actualizado 2025-12-03 📅 Creado 2024-10-09
34
ContinualAI/avalanche

Avalanche: una biblioteca de extremo a extremo para el aprendizaje continuo basada en PyTorch.

ContinualAI
⭐ 2,054 Python 👤 ContinualAI Organization 🕐 Actualizado 2025-03-11 📅 Creado 2020-03-05
35
Cloud-CV/EvalAI

:cloud: :rocket: :bar_chart: :chart_with_upwards_trend: Evaluación del estado del arte en IA

Cloud-CV
⭐ 2,049 Python 👤 Cloud-CV Organization 🕐 Actualizado 2026-11-14 📅 Creado 2016-10-21
36
tatsu-lab/alpaca_eval

Un evaluador automático para modelos de lenguaje que siguen instrucciones. Validado por humanos, de alta calidad, barato y rápido.

tatsu-lab
⭐ 2,010 Jupyter Notebook 👤 tatsu-lab Organization 🕐 Actualizado 2025-08-09 📅 Creado 2023-05-25
37
trpc-group/trpc-agent-go

Un framework de Go para construir sistemas de agentes de producción con flujos de trabajo en grafo, herramientas, memoria, A2A, AG-UI, MCP, evaluación y observabilidad.

trpc-group
⭐ 1,940 Go 👤 trpc-group Organization 🕐 Actualizado 2026-11-21 📅 Creado 2025-05-14
38
xinshuoweng/AB3DMOT

(IROS 2020, ECCVW 2020) Implementación oficial en Python para "3D Multi-Object Tracking: A Baseline and New Evaluation Metrics"

xinshuoweng
⭐ 1,805 Python 👤 xinshuoweng User 🕐 Actualizado 2024-04-03 📅 Creado 2019-06-19
39
onestardao/WFGY

WFGY se dirige hacia WFGY 5.0 Polaris Protocol, una importante versión de código abierto para razonamiento de IA, RAG, agentes y flujos de trabajo en el mundo real. Incluye Problem Map, Global Debug Card, WFGY 4.0 y el Easter Egg de CFV.

onestardao
⭐ 1,804 Jupyter Notebook 👤 onestardao User 🕐 Actualizado 2026-11-21 📅 Creado 2025-06-04
40
SmartFlowAI/EmoLLM

Modelos de salud mental (LLM x Salud Mental), Pre y Post-entrenamiento & Conjunto de datos & Evaluación & Despliegue & RAG, con modelos de las series InternLM / Qwen / Baichuan / DeepSeek / Mixtral / LLama / GLM

SmartFlowAI
⭐ 1,797 Python 👤 SmartFlowAI Organization 🕐 Actualizado 2026-06-18 📅 Creado 2024-01-11
41
deepsense-ai/ragbits

Bloques de construcción para el rápido desarrollo de aplicaciones GenAI

deepsense-ai
⭐ 1,678 Python 👤 deepsense-ai Organization 🕐 Actualizado 2026-05-18 📅 Creado 2024-09-02
42
MLGroupJLU/LLM-eval-survey

La página oficial de GitHub para el artículo de revisión "A Survey on Evaluation of Large Language Models".

MLGroupJLU
⭐ 1,615 👤 MLGroupJLU User 🕐 Actualizado 2026-11-18 📅 Creado 2023-07-02
43
sepandhaghighi/pycm

Biblioteca de matriz de confusión multi-clase en Python

sepandhaghighi
⭐ 1,507 Python 👤 sepandhaghighi User 🕐 Actualizado 2026-11-16 📅 Creado 2018-01-22
44
Maluuba/nlg-eval

Código de evaluación para diversas métricas automáticas no supervisadas para la Generación de Lenguaje Natural.

Maluuba
⭐ 1,391 Python 👤 Maluuba Organization 🕐 Actualizado 2024-08-20 📅 Creado 2017-06-27
45
NVIDIA-NeMo/Gym

Evaluar y mejorar modelos y agentes usando entornos

NVIDIA-NeMo
⭐ 1,347 Python 👤 NVIDIA-NeMo Organization 🕐 Actualizado 2026-11-21 📅 Creado 2025-08-25
46
ScalingIntelligence/KernelBench

KernelBench: ¿Pueden los LLM escribir kernels de GPU? - Benchmark + Toolkit con Torch -> CUDA (+ más DSL)

ScalingIntelligence
⭐ 1,336 Jupyter Notebook 👤 ScalingIntelligence Organization 🕐 Actualizado 2026-03-24 📅 Creado 2024-10-25
47
TIGER-AI-Lab/ClawBench

Benchmark de código abierto para agentes de IA en navegador en tareas diarias.

TIGER-AI-Lab
⭐ 1,325 Python 👤 TIGER-AI-Lab Organization 🕐 Actualizado 2026-11-05 📅 Creado 2026-04-10
48
abo-abo/lispy

Edición LISP corta y dulce

abo-abo
⭐ 1,297 Emacs Lisp 👤 abo-abo User 🕐 Actualizado 2026-01-23 📅 Creado 2014-01-10
49
EthicalML/xai

XAI - Una caja de herramientas de eXplicabilidad para el aprendizaje automático

EthicalML
⭐ 1,270 Python 👤 EthicalML Organization 🕐 Actualizado 2025-11-29 📅 Creado 2019-01-11
50
plurai-ai/intellagent

Un marco para el diagnóstico y la optimización integral de agentes mediante interacciones sintéticas realistas y simuladas

plurai-ai
⭐ 1,266 Python 👤 plurai-ai Organization 🕐 Actualizado 2026-09-14 📅 Creado 2024-10-28

Preguntas frecuentes

1

¿Cuál es el repositorio de #evaluation más popular en GitHub?

El proyecto de código abierto de #evaluation mejor posicionado en GitHub es lm-sys/FastChat, con 39,550 estrellas. Una plataforma abierta para entrenar, servir y evaluar grandes modelos de lenguaje. Repositorio de lanzamiento para Vicuna y Chatbot Arena.

2

¿Qué lenguajes de programación se utilizan más en los repositorios de #evaluation?

Entre los proyectos de #evaluation mejor posicionados en GitHub, los lenguajes de programación más comunes son Python, TypeScript, Jupyter Notebook, Go.

3

¿Cómo se calcula la clasificación de los repositorios de #evaluation?

Seguimos 89 repositorios activos de código abierto etiquetados con #evaluation (500+ estrellas), que suman un total de 369,872 estrellas, con una media de 4,155 estrellas por repositorio. Las clasificaciones se actualizan diariamente a partir de la API de GitHub.