#llm-evaluation Repositorios
108 repositorios en total
Un entorno no saturante y abierto para evaluar LLM en Factorio
[JMLR 2026] UQLM: un paquete de Python para detectar alucinaciones en modelos de lenguaje grandes mediante la cuantificación de la incertidumbre
Una colección de cuadernos/recetas que muestran casos de uso de modelos de código abierto con Together AI.
Weave es un kit de herramientas para desarrollar aplicaciones impulsadas por IA, creado por Weights & Biases.
Un punto de referencia de evidencia para decisiones clínicas: extraer el único hecho en el que se basa una respuesta y comprobar si la acción del asistente cambia conforme a la evidencia. Basado en HealthBench.
CI/CD nativo de trazas para agentes de IA: los fallos en producción se convierten en pruebas de regresión que bloquean el PR. Detección y agrupación automáticas, conversión en casos herméticos y reproducción en CI por 0 $.
AutoEvals es una herramienta para evaluar rápida y fácilmente las salidas de los modelos de IA utilizando las mejores prácticas.
OrcaReplay — Viaje en el tiempo para agentes de IA. Graba, reproduce, bifurca y depura cualquier ejecución de un agente con cualquier modelo. Creado por el equipo de OrcaRouter.ai.
La pila de mejora continua para agentes. Nuestros datos de entorno y evaluaciones impulsan la mejora y el monitoreo de agentes.
Una biblioteca seleccionada y sin tonterías de los mejores recursos para construir y evaluar agentes de IA: artículos, blogs, charlas, herramientas, benchmarks. Mantenida por BenchFlow.
Experimentos con modelos locales y modelos disponibles a través de una API
FactCircuit: un ciclo auditable de verificación de afirmaciones y evidencias, con procedencia inmutable, comprobaciones por etapas, recuperación acotada y evaluación reproducible.
[ICLR 2025 Oral] Spider 2.0: Evaluación de modelos de lenguaje en flujos de trabajo reales de Text-to-SQL empresariales
CI/CD nativo de trazas para agentes de IA: evalúa las trazas de producción, agrupa los fallos, conviértelos en pruebas de regresión reproducibles y bloquea los PR que introduzcan regresiones. Se puede alojar por cuenta propia.
Un ejecutor de pruebas para habilidades de agentes de IA al estilo de agentskills.io
Los artículos están organizados de acuerdo con nuestra encuesta: Evaluating Large Language Models: A Comprehensive Survey.
GAOKAO-Bench es un marco de evaluación que utiliza preguntas de GAOKAO como conjunto de datos para evaluar grandes modelos de lenguaje.
Infraestructura de código abierto que convierte archivos SKILL.md dispersos en corpus de habilidades de agentes seleccionados y listos para la recuperación, con herramientas de recuperación y evaluación incluidas.
Awesome-LLM-Eval: una lista curada de herramientas, conjuntos de datos/benchmarks, demostraciones, tablas de clasificación, artículos, documentos y modelos, principalmente para la Evaluación en LLMs. Una lista curada de herramientas, benchmarks/datos, demostraciones, tablas de clasificación y grandes modelos, que se enfoca principalmente en la evaluación de grandes modelos base, con el objetivo de explorar los límites tecnológicos de la IA generativa.
Tutorial en chino de Stanford CS329Z Engineering AI Agents: un curso de agentes de IA para desarrolladores de Python, con 19 lecciones y 4 proyectos prácticos, que abarca LLM, RAG, uso de herramientas, memoria, sistemas multiagente, evaluación y seguridad. Markdown completo y HTML para uso en línea y sin conexión. Apuntes del curso en chino.
Impresionantes artículos que involucran LLM en Ciencias Sociales.
Benchmark de evaluación pionero en la industria para LLM en el dominio DevOps/AIOps.
Conjunto de datos y referencia para RAG en documentos internos de la empresa.
[ICML 2024] TrustLLM: evaluación de la confiabilidad de los LLM en términos de veracidad, seguridad, equidad, robustez, privacidad y ética. Kit de herramientas de Python/CLI para modelos locales, API compatibles y orquestación de agentes de IA.
Un Proyecto de Aprendizaje por Refuerzo a Gran Escala de Código Abierto para Agentes de Búsqueda
MCP-Universe es un marco integral diseñado para el entrenamiento RL, el benchmarking y el desarrollo de agentes de IA para el uso general de herramientas.
El repositorio oficial del artículo, LLMs-as-Judges: Una encuesta completa sobre métodos de evaluación basados en LLM.
Pasarela MCP y servidores MCP con OAuth. Agente LangGraph: memoria, evaluación/seguimiento, protección de información de identificación personal (PII) y recorte del contexto. Guía de inicio rápido con Docker para agentes empresariales.
Una enciclopedia de técnicas de jailbreaking para hacer que los modelos de IA sean más seguros.
Agente de investigación de renta variable basado en IA, con flujos de trabajo resilientes, RAG fundamentado en evidencia, informes versionados y evaluación automatizada de la calidad.
Este es el repositorio de HaluEval, un punto de referencia de evaluación de alucinaciones a gran escala para modelos de lenguaje grandes.