#llm-evaluation Repositorios
Descubre 108 repositorios activos de código abierto de GitHub etiquetados con #llm-evaluation, que acumulan 444,825 estrellas en total (una media de 4,118 estrellas por proyecto). El líder de este tema es ifixai-ai/iFixAi, con 46,592 estrellas.
108 repositorios en total
Auditoría independiente de agentes de IA. Ejecutada por humanos o por el propio agente, para responder a la pregunta más crucial en la economía de los agentes de IA: ¿Está el agente haciendo lo que se supone que debe hacer? Con iFixAi, puede obtener esta respuesta en menos de 120 segundos.
🪢 Plataforma de ingeniería de IA de código abierto: AI Gateway, observabilidad de agentes, evaluaciones y gestión de prompts y habilidades, basada en OpenTelemetry. Una plataforma abierta para cada llamada de IA y cada agente. Aloja la plataforma por tu cuenta o usa Langfuse Cloud.
La plataforma de ingeniería de IA de código abierto para agentes, LLMs y modelos de ML. MLflow permite a equipos de todos los tamaños depurar, evaluar, monitorear y optimizar aplicaciones de IA de calidad de producción mientras controlan costos y gestionan el acceso a modelos y datos.
Prueba tus prompts, agentes y RAGs. Red teaming/pentesting/escaneo de vulnerabilidades para IA. Compara el rendimiento de GPT, Claude, Gemini, DeepSeek y más. Configuraciones declarativas simples con integración de línea de comandos y CI/CD. Utilizado por OpenAI y Anthropic.
Depure, evalúe y supervise sus aplicaciones LLM, sistemas RAG y flujos de trabajo de agentes con trazabilidad completa, evaluaciones automatizadas y paneles listos para la producción.
Evals es un framework para evaluar LLM y sistemas LLM, y un registro de benchmark de código abierto.
¡Ajusta finamente (SFT/RL), evalúa y despliega Qwen, Gemma o cualquier LLM/VLM agéntico de código abierto!
Una plataforma integral de Red Teaming de IA que protege los ecosistemas de IA mediante Agent Scan, Skills Scan, MCP Scan, AI Infra Scan y la evaluación de jailbreaks de LLM.
NoneLinear - Evaluación ReLE: Evaluación de capacidades de modelos de IA en chino (actualización continua): Actualmente incluye 374 modelos, cubriendo modelos comerciales como ChatGPT, GPT-5.4, Google Gemini-3.1-pro, Claude-4.6, Ernie-X1.1, Ernie-5.0, Qwen3.6-max, Qwen3.6-plus, Baichuan, iFlytek Spark, SenseChat, así como modelos de código abierto como Step3.5-flash, Kimi-k2.6, Ernie4.5, MiniMax-M2.7, DeepSeek-v4, Qwen3.6, Llama4, Zhipu GLM-5.1, MiMo-V2, LongCat, Gemma4, Mistral, entre otros. No solo ofrece una clasificación, sino también una base de datos de defectos de modelos con más de 2 millones de entradas, facilitando a la comunidad la investigación, el análisis y la mejora de los grandes modelos.
Agent OS: el agente se vuelve más inteligente por sí solo. Nosotros solo mantenemos la línea: entrevistas como filtro, evaluación por etapas y un ciclo de evolución con presupuesto. Servidor MCP, 14 entornos de ejecución: Claude Code, Codex CLI, Gemini CLI, OpenCode, Copilot, Kiro y más.
🧊 Plataforma de observabilidad LLM de código abierto. Una línea de código para monitorear, evaluar y experimentar. YC W23 🍓
La guía práctica de LLM: Desde los fundamentos hasta la implementación de aplicaciones avanzadas de LLM y RAG en AWS utilizando las mejores prácticas de LLMOps
Paper2Code: Automatización de la generación de código a partir de artículos científicos en aprendizaje automático
Kit de evaluación multimodal One-for-All para tareas de texto, imagen, video y audio
Una colección de métodos científicos, procesos, algoritmos y sistemas para construir historias y modelos.
Laminar - plataforma de observabilidad de código abierto diseñada específicamente para agentes de IA. YC S24.
Una lista seleccionada de más de 100 bibliotecas y frameworks para ingenieros de IA que construyen con LLM
Inspect: Un framework para la evaluación de modelos de lenguaje grandes
Evaluación comparativa de la capacidad de razonamiento complejo de los modelos de lenguaje grandes con indicaciones de cadena de pensamiento
Recursos integrales sobre IA generativa, que incluyen una hoja de ruta detallada, proyectos, casos de uso, preparación para entrevistas y preparación de codificación.
Realizar recuperaciones sencillas de modelos LLM en varias longitudes de contexto para medir la precisión
Plataforma de código abierto de extremo a extremo para evaluar, observar y mejorar aplicaciones de LLM y agentes de IA. Tracing · Evals · Simulations · Datasets · Gateway · Guardrails. Autoalojable. Apache 2.0.
Proyectos y Recursos para ayudarte a convertirte en un mejor desarrollador de IA.
los recursos sobre la aplicación basada en LLM con patrón RAG
Cree, enriquezca y transforme conjuntos de datos utilizando modelos de IA sin código
Una potente herramienta para el fuzzing automatizado de LLM. Está diseñada para ayudar a los desarrolladores e investigadores de seguridad a identificar y mitigar posibles jailbreaks en sus API de LLM.
Un agente de auditoría de alineación capaz de explorar rápidamente hipótesis de alineación
Benchmark de código abierto para agentes de IA en navegador en tareas diarias.
Prompty facilita la creación, gestión, depuración y evaluación de prompts de LLM para tus aplicaciones de IA. Prompty es una clase de activo y un formato para prompts de LLM diseñados para mejorar la observabilidad, la comprensibilidad y la portabilidad para los desarrolladores.
Preguntas frecuentes
¿Cuál es el repositorio de #llm-evaluation más popular en GitHub?
El proyecto de código abierto de #llm-evaluation mejor posicionado en GitHub es ifixai-ai/iFixAi, con 46,592 estrellas. Auditoría independiente de agentes de IA. Ejecutada por humanos o por el propio agente, para responder a la pregunta más crucial en la economía de los agentes de IA: ¿Está el agente haciendo lo que se supone que debe hacer? Con iFixAi, puede obtener esta respuesta en menos de 120 segundos.
¿Qué lenguajes de programación se utilizan más en los repositorios de #llm-evaluation?
Entre los proyectos de #llm-evaluation mejor posicionados en GitHub, los lenguajes de programación más comunes son Python, Jupyter Notebook, TypeScript, Java.
¿Cómo se calcula la clasificación de los repositorios de #llm-evaluation?
Seguimos 108 repositorios activos de código abierto etiquetados con #llm-evaluation (500+ estrellas), que suman un total de 444,825 estrellas, con una media de 4,118 estrellas por repositorio. Las clasificaciones se actualizan diariamente a partir de la API de GitHub.