Git Stars Git Stars

#llm-evaluation Repositorios

Descubre 108 repositorios activos de código abierto de GitHub etiquetados con #llm-evaluation, que acumulan 444,825 estrellas en total (una media de 4,118 estrellas por proyecto). El líder de este tema es ifixai-ai/iFixAi, con 46,592 estrellas.

108
Total de Repositorios
444,825
Total de estrellas
4,118
Promedio de Estrellas/Repo

108 repositorios en total

1
ifixai-ai/iFixAi

Auditoría independiente de agentes de IA. Ejecutada por humanos o por el propio agente, para responder a la pregunta más crucial en la economía de los agentes de IA: ¿Está el agente haciendo lo que se supone que debe hacer? Con iFixAi, puede obtener esta respuesta en menos de 120 segundos.

ifixai-ai
⭐ 46,592 Python 👤 ifixai-ai Organization 🕐 Actualizado 2026-11-20 📅 Creado 2026-04-27
2
langfuse/langfuse

🪢 Plataforma de ingeniería de IA de código abierto: AI Gateway, observabilidad de agentes, evaluaciones y gestión de prompts y habilidades, basada en OpenTelemetry. Una plataforma abierta para cada llamada de IA y cada agente. Aloja la plataforma por tu cuenta o usa Langfuse Cloud.

langfuse
⭐ 37,696 TypeScript 👤 langfuse Organization 🕐 Actualizado 2026-11-21 📅 Creado 2023-05-18
3
mlflow/mlflow

La plataforma de ingeniería de IA de código abierto para agentes, LLMs y modelos de ML. MLflow permite a equipos de todos los tamaños depurar, evaluar, monitorear y optimizar aplicaciones de IA de calidad de producción mientras controlan costos y gestionan el acceso a modelos y datos.

mlflow
⭐ 28,920 Python 👤 mlflow Organization 🕐 Actualizado 2026-11-21 📅 Creado 2018-06-05
4
promptfoo/promptfoo

Prueba tus prompts, agentes y RAGs. Red teaming/pentesting/escaneo de vulnerabilidades para IA. Compara el rendimiento de GPT, Claude, Gemini, DeepSeek y más. Configuraciones declarativas simples con integración de línea de comandos y CI/CD. Utilizado por OpenAI y Anthropic.

promptfoo
⭐ 27,516 TypeScript 👤 promptfoo Organization 🕐 Actualizado 2026-11-21 📅 Creado 2023-04-28
5
huggingface/open-r1

Reproducción completa de DeepSeek-R1

huggingface
⭐ 26,483 Python 👤 huggingface Organization 🕐 Actualizado 2026-10-26 📅 Creado 2025-01-24
6
comet-ml/opik

Depure, evalúe y supervise sus aplicaciones LLM, sistemas RAG y flujos de trabajo de agentes con trazabilidad completa, evaluaciones automatizadas y paneles listos para la producción.

comet-ml
⭐ 23,479 Java 👤 comet-ml Organization 🕐 Actualizado 2026-11-21 📅 Creado 2023-05-10
7
openai/evals

Evals es un framework para evaluar LLM y sistemas LLM, y un registro de benchmark de código abierto.

openai
⭐ 19,776 Python 👤 openai Organization 🕐 Actualizado 2026-04-14 📅 Creado 2023-01-23
8
confident-ai/deepeval

El marco de evaluación LLM

confident-ai
⭐ 19,585 Python 👤 confident-ai Organization 🕐 Actualizado 2026-11-19 📅 Creado 2023-08-10
9
Arize-ai/phoenix

Observabilidad y Evaluación de IA

Arize-ai
⭐ 12,368 Python 👤 Arize-ai Organization 🕐 Actualizado 2026-11-21 📅 Creado 2022-11-09
10
NVIDIA/garak

el escáner de vulnerabilidades LLM

NVIDIA
⭐ 10,122 Python 👤 NVIDIA Organization 🕐 Actualizado 2026-11-18 📅 Creado 2023-05-10
11
oumi-ai/oumi

¡Ajusta finamente (SFT/RL), evalúa y despliega Qwen, Gemma o cualquier LLM/VLM agéntico de código abierto!

oumi-ai
⭐ 9,441 Python 👤 oumi-ai Organization 🕐 Actualizado 2026-11-21 📅 Creado 2024-05-07
12
HKUDS/ClawWork

"ClawWork: OpenClaw como tu compañero de IA - 💰 $15K ganados en 11 horas"

HKUDS
⭐ 8,574 Python 👤 HKUDS Organization 🕐 Actualizado 2026-03-03 📅 Creado 2026-02-15
13
Tencent/AI-Infra-Guard

Una plataforma integral de Red Teaming de IA que protege los ecosistemas de IA mediante Agent Scan, Skills Scan, MCP Scan, AI Infra Scan y la evaluación de jailbreaks de LLM.

Tencent
⭐ 7,604 Python 👤 Tencent Organization 🕐 Actualizado 2026-11-20 📅 Creado 2024-12-25
14
gepa-ai/gepa

Optimice indicaciones, código y más con la Optimización Reflexiva impulsada por IA

gepa-ai
⭐ 7,523 Jupyter Notebook 👤 gepa-ai Organization 🕐 Actualizado 2026-11-21 📅 Creado 2025-08-05
15
gkamradt/langchain-tutorials

Descripción general y tutorial de la biblioteca LangChain

gkamradt
⭐ 7,350 Jupyter Notebook 👤 gkamradt User 🕐 Actualizado 2024-08-05 📅 Creado 2023-02-13
16
simplescaling/s1

s1: Escalado simple en tiempo de ejecución

simplescaling
⭐ 6,656 Python 👤 simplescaling Organization 🕐 Actualizado 2025-06-25 📅 Creado 2025-02-01
17
jeinlee1991/chinese-llm-benchmark

NoneLinear - Evaluación ReLE: Evaluación de capacidades de modelos de IA en chino (actualización continua): Actualmente incluye 374 modelos, cubriendo modelos comerciales como ChatGPT, GPT-5.4, Google Gemini-3.1-pro, Claude-4.6, Ernie-X1.1, Ernie-5.0, Qwen3.6-max, Qwen3.6-plus, Baichuan, iFlytek Spark, SenseChat, así como modelos de código abierto como Step3.5-flash, Kimi-k2.6, Ernie4.5, MiniMax-M2.7, DeepSeek-v4, Qwen3.6, Llama4, Zhipu GLM-5.1, MiMo-V2, LongCat, Gemma4, Mistral, entre otros. No solo ofrece una clasificación, sino también una base de datos de defectos de modelos con más de 2 millones de entradas, facilitando a la comunidad la investigación, el análisis y la mejora de los grandes modelos.

jeinlee1991
⭐ 6,522 👤 jeinlee1991 User 🕐 Actualizado 2026-11-20 📅 Creado 2023-06-04
18
Q00/ouroboros

Agent OS: el agente se vuelve más inteligente por sí solo. Nosotros solo mantenemos la línea: entrevistas como filtro, evaluación por etapas y un ciclo de evolución con presupuesto. Servidor MCP, 14 entornos de ejecución: Claude Code, Codex CLI, Gemini CLI, OpenCode, Copilot, Kiro y más.

Q00
⭐ 6,385 Python 👤 Q00 User 🕐 Actualizado 2026-11-21 📅 Creado 2026-01-14
19
Helicone/helicone

🧊 Plataforma de observabilidad LLM de código abierto. Una línea de código para monitorear, evaluar y experimentar. YC W23 🍓

Helicone
⭐ 6,292 TypeScript 👤 Helicone Organization 🕐 Actualizado 2026-11-17 📅 Creado 2023-01-31
20
Giskard-AI/giskard-oss

🐢 Biblioteca de código abierto para evaluación y pruebas de agentes LLM

Giskard-AI
⭐ 5,965 Python 👤 Giskard-AI Organization 🕐 Actualizado 2026-11-20 📅 Creado 2022-03-06
21
PacktPublishing/LLM-Engineers-Handbook

La guía práctica de LLM: Desde los fundamentos hasta la implementación de aplicaciones avanzadas de LLM y RAG en AWS utilizando las mejores prácticas de LLMOps

PacktPublishing
⭐ 5,438 Python 👤 PacktPublishing Organization 🕐 Actualizado 2026-04-22 📅 Creado 2024-04-09
22
going-doer/Paper2Code

Paper2Code: Automatización de la generación de código a partir de artículos científicos en aprendizaje automático

going-doer
⭐ 5,044 Python 👤 going-doer User 🕐 Actualizado 2026-03-25 📅 Creado 2025-04-25
23
EvolvingLMMs-Lab/lmms-eval

Kit de evaluación multimodal One-for-All para tareas de texto, imagen, video y audio

EvolvingLMMs-Lab
⭐ 4,501 Python 👤 EvolvingLMMs-Lab Organization 🕐 Actualizado 2026-11-20 📅 Creado 2024-03-07
24
hemansnation/AI-Engineer-Headquarters

Una colección de métodos científicos, procesos, algoritmos y sistemas para construir historias y modelos.

hemansnation
⭐ 3,782 Jupyter Notebook 👤 hemansnation User 🕐 Actualizado 2026-10-28 📅 Creado 2022-03-29
25
truera/trulens

Evaluación y seguimiento de experimentos LLM y agentes de IA

truera
⭐ 3,665 Python 👤 truera Organization 🕐 Actualizado 2026-11-20 📅 Creado 2020-11-02
26
lmnr-ai/lmnr

Laminar - plataforma de observabilidad de código abierto diseñada específicamente para agentes de IA. YC S24.

lmnr-ai
⭐ 3,516 TypeScript 👤 lmnr-ai Organization 🕐 Actualizado 2026-11-20 📅 Creado 2024-08-29
27
openai/human-eval

Código para el artículo "Evaluating Large Language Models Trained on Code"

openai
⭐ 3,431 Python 👤 openai Organization 🕐 Actualizado 2026-10-16 📅 Creado 2021-07-06
28
Sumanth077/ai-engineering-toolkit

Una lista seleccionada de más de 100 bibliotecas y frameworks para ingenieros de IA que construyen con LLM

Sumanth077
⭐ 3,402 👤 Sumanth077 User 🕐 Actualizado 2026-05-11 📅 Creado 2025-08-06
29
UKGovernmentBEIS/inspect_ai

Inspect: Un framework para la evaluación de modelos de lenguaje grandes

UKGovernmentBEIS
⭐ 3,302 Python 👤 UKGovernmentBEIS Organization 🕐 Actualizado 2026-11-20 📅 Creado 2023-11-14
30
FranxYao/chain-of-thought-hub

Evaluación comparativa de la capacidad de razonamiento complejo de los modelos de lenguaje grandes con indicaciones de cadena de pensamiento

FranxYao
⭐ 2,762 Jupyter Notebook 👤 FranxYao User 🕐 Actualizado 2024-08-04 📅 Creado 2023-03-10
31
genieincodebottle/generative-ai

Recursos integrales sobre IA generativa, que incluyen una hoja de ruta detallada, proyectos, casos de uso, preparación para entrevistas y preparación de codificación.

genieincodebottle
⭐ 2,675 Jupyter Notebook 👤 genieincodebottle User 🕐 Actualizado 2026-11-09 📅 Creado 2024-01-09
32
gkamradt/needle-in-a-haystack

Realizar recuperaciones sencillas de modelos LLM en varias longitudes de contexto para medir la precisión

gkamradt
⭐ 2,408 Jupyter Notebook 👤 gkamradt User 🕐 Actualizado 2026-06-08 📅 Creado 2023-11-11
33
future-agi/future-agi

Plataforma de código abierto de extremo a extremo para evaluar, observar y mejorar aplicaciones de LLM y agentes de IA. Tracing · Evals · Simulations · Datasets · Gateway · Guardrails. Autoalojable. Apache 2.0.

future-agi
⭐ 2,284 Python 👤 future-agi Organization 🕐 Actualizado 2026-11-21 📅 Creado 2026-04-23
34
break-into-data/ai-engineer-toolkit

Proyectos y Recursos para ayudarte a convertirte en un mejor desarrollador de IA.

break-into-data
⭐ 2,189 TypeScript 👤 break-into-data Organization 🕐 Actualizado 2025-09-15 📅 Creado 2025-02-24
36
msoedov/agentic_security

Escáner de vulnerabilidades LLM Agentic / Kit de red teaming de IA 🧪

msoedov
⭐ 2,048 Python 👤 msoedov User 🕐 Actualizado 2026-11-19 📅 Creado 2024-04-11
37
ai-that-works/ai-that-works

🦄 IA que funciona - todos los martes 10 AM PST

ai-that-works
⭐ 2,016 TypeScript 👤 ai-that-works Organization 🕐 Actualizado 2026-11-19 📅 Creado 2025-04-02
39
centerforaisafety/hle

El último examen de la humanidad

centerforaisafety
⭐ 1,749 Python 👤 centerforaisafety Organization 🕐 Actualizado 2026-09-23 📅 Creado 2025-01-23
41
lizhe2004/Awesome-LLM-RAG-Application

los recursos sobre la aplicación basada en LLM con patrón RAG

lizhe2004
⭐ 1,662 👤 lizhe2004 User 🕐 Actualizado 2026-10-12 📅 Creado 2023-12-27
42
huggingface/aisheets

Cree, enriquezca y transforme conjuntos de datos utilizando modelos de IA sin código

huggingface
⭐ 1,656 TypeScript 👤 huggingface Organization 🕐 Actualizado 2026-09-23 📅 Creado 2025-01-16
43
cyberark/FuzzyAI

Una potente herramienta para el fuzzing automatizado de LLM. Está diseñada para ayudar a los desarrolladores e investigadores de seguridad a identificar y mitigar posibles jailbreaks en sus API de LLM.

cyberark
⭐ 1,611 Jupyter Notebook 👤 cyberark Organization 🕐 Actualizado 2026-02-06 📅 Creado 2024-12-03
44
sierra-research/tau-bench

Código y datos para Tau-Bench

sierra-research
⭐ 1,514 Python 👤 sierra-research Organization 🕐 Actualizado 2026-03-18 📅 Creado 2024-06-06
45
safety-research/bloom

bloom - evalúa cualquier comportamiento inmediatamente 🌸🌱

safety-research
⭐ 1,429 Python 👤 safety-research Organization 🕐 Actualizado 2026-05-07 📅 Creado 2025-06-24
47
meridianlabs-ai/inspect_petri

Un agente de auditoría de alineación capaz de explorar rápidamente hipótesis de alineación

meridianlabs-ai
⭐ 1,421 Python 👤 meridianlabs-ai Organization 🕐 Actualizado 2026-11-20 📅 Creado 2025-08-19
48
TIGER-AI-Lab/ClawBench

Benchmark de código abierto para agentes de IA en navegador en tareas diarias.

TIGER-AI-Lab
⭐ 1,325 Python 👤 TIGER-AI-Lab Organization 🕐 Actualizado 2026-11-05 📅 Creado 2026-04-10
49
microsoft/prompty

Prompty facilita la creación, gestión, depuración y evaluación de prompts de LLM para tus aplicaciones de IA. Prompty es una clase de activo y un formato para prompts de LLM diseñados para mejorar la observabilidad, la comprensibilidad y la portabilidad para los desarrolladores.

microsoft
⭐ 1,288 Rust 👤 microsoft Organization 🕐 Actualizado 2026-11-09 📅 Creado 2024-04-22
50
langchain-ai/openevals

Evaluadores listos para usar para sus aplicaciones LLM

langchain-ai
⭐ 1,259 Python 👤 langchain-ai Organization 🕐 Actualizado 2026-11-18 📅 Creado 2025-02-08

Preguntas frecuentes

1

¿Cuál es el repositorio de #llm-evaluation más popular en GitHub?

El proyecto de código abierto de #llm-evaluation mejor posicionado en GitHub es ifixai-ai/iFixAi, con 46,592 estrellas. Auditoría independiente de agentes de IA. Ejecutada por humanos o por el propio agente, para responder a la pregunta más crucial en la economía de los agentes de IA: ¿Está el agente haciendo lo que se supone que debe hacer? Con iFixAi, puede obtener esta respuesta en menos de 120 segundos.

2

¿Qué lenguajes de programación se utilizan más en los repositorios de #llm-evaluation?

Entre los proyectos de #llm-evaluation mejor posicionados en GitHub, los lenguajes de programación más comunes son Python, Jupyter Notebook, TypeScript, Java.

3

¿Cómo se calcula la clasificación de los repositorios de #llm-evaluation?

Seguimos 108 repositorios activos de código abierto etiquetados con #llm-evaluation (500+ estrellas), que suman un total de 444,825 estrellas, con una media de 4,118 estrellas por repositorio. Las clasificaciones se actualizan diariamente a partir de la API de GitHub.