#evaluation Repositorios
Descubre 89 repositorios activos de código abierto de GitHub etiquetados con #evaluation, que acumulan 369,872 estrellas en total (una media de 4,155 estrellas por proyecto). El líder de este tema es lm-sys/FastChat, con 39,550 estrellas.
89 repositorios en total
Una plataforma abierta para entrenar, servir y evaluar grandes modelos de lenguaje. Repositorio de lanzamiento para Vicuna y Chatbot Arena.
Plataforma de conocimiento LLM de código abierto: convierte documentos crudos en un RAG consultable, un agente de razonamiento autónomo y una Wiki auto-mantenida.
🪢 Plataforma de ingeniería de IA de código abierto: AI Gateway, observabilidad de agentes, evaluaciones y gestión de prompts y habilidades, basada en OpenTelemetry. Una plataforma abierta para cada llamada de IA y cada agente. Aloja la plataforma por tu cuenta o usa Langfuse Cloud.
La plataforma de ingeniería de IA de código abierto para agentes, LLMs y modelos de ML. MLflow permite a equipos de todos los tamaños depurar, evaluar, monitorear y optimizar aplicaciones de IA de calidad de producción mientras controlan costos y gestionan el acceso a modelos y datos.
Prueba tus prompts, agentes y RAGs. Red teaming/pentesting/escaneo de vulnerabilidades para IA. Compara el rendimiento de GPT, Claude, Gemini, DeepSeek y más. Configuraciones declarativas simples con integración de línea de comandos y CI/CD. Utilizado por OpenAI y Anthropic.
Depure, evalúe y supervise sus aplicaciones LLM, sistemas RAG y flujos de trabajo de agentes con trazabilidad completa, evaluaciones automatizadas y paneles listos para la producción.
OpenCompass es una plataforma de evaluación de modelos de lenguaje de gran escala (LLM) que admite una amplia variedad de modelos de OpenAI, Anthropic, Gemini, Qwen, GLM, DeepSeek, etc., en más de 100 conjuntos de datos que abarcan conocimientos, razonamiento, programación, ciencia, lenguaje, contexto largo y seguridad.
达尔文.skill —— Un sistema que hace evolucionar infinitamente tus Skills: evaluación→mejora→prueba→mantener o rollback | Optimización autónoma de skills inspirada en Autoresearch para Claude Code. Evaluar, mejorar, probar, mantener o revertir.
🧊 Plataforma de observabilidad LLM de código abierto. Una línea de código para monitorear, evaluar y experimentar. YC W23 🍓
Plataforma de optimización de agentes de IA de próxima generación: Cozeloop aborda los desafíos en el desarrollo de agentes de IA al proporcionar capacidades de gestión de ciclo de vida completo, desde el desarrollo, la depuración y la evaluación hasta la monitorización.
Construya, evalúe y optimice sistemas de IA. Incluye evaluaciones (evals), RAG, agentes, ajuste fino, generación de datos sintéticos, gestión de conjuntos de datos, MCP y más.
Observabilidad y evaluación de agentes de código abierto para equipos de plataformas de IA. Rastrea, prueba, enruta y gobierna cada agente y asistente de programación de la empresa.
Kit de evaluación multimodal One-for-All para tareas de texto, imagen, video y audio
Kit de herramientas de evaluación de código abierto para modelos multimodales grandes (LMM), admite más de 220 LMM, más de 80 benchmarks
Marco multinivel para evaluar habilidades y complementos de agentes de IA, con controles de calidad, análisis de seguridad, comprobaciones de compatibilidad con el entorno de pruebas, detección de solapamientos semánticos, generación de conjuntos de datos sintéticos para evaluación y evaluación de agentes en tiempo real que mide cómo afectan las habilidades al comportamiento del agente. Incluye plantillas de CI reutilizables que llevan todas las comprobaciones a cualquier repositorio.
Un marco simplificado y personalizable para la evaluación eficiente y la evaluación comparativa del rendimiento de modelos grandes (LLM, VLM, AIGC).
MTEB: Evaluación de vanguardia de embeddings en múltiples idiomas y modalidades
Laminar - plataforma de observabilidad de código abierto diseñada específicamente para agentes de IA. YC S24.
SuperCLUE: Benchmark integral para modelos grandes generales en chino | Un benchmark para modelos fundacionales en chino
Klipse es un plugin de JavaScript para incrustar fragmentos de código interactivos en blogs técnicos.
Un entorno de programación visual de código abierto para probar indicaciones para LLM.
YAO = Obteniendo Resultados de IA. Un sistema riguroso de ingeniería, evaluación, gobernanza y portabilidad para habilidades de agentes reutilizables.
Lighteval es su kit de herramientas todo en uno para evaluar LLM en múltiples backends
🤗 Evaluate: Una biblioteca para evaluar fácilmente modelos y conjuntos de datos de aprendizaje automático.
RAG ensamblado: Se ensamblaron y fusionaron manualmente GraphRAG, LightRAG y Neo4j-llm-graph-builder para la construcción y búsqueda de grafos de conocimiento; se integró la tecnología DeepSearch para el razonamiento RAG de dominio privado; se creó un marco de evaluación personalizado para GraphRAG.
UpTrain es una plataforma unificada de código abierto para evaluar y mejorar aplicaciones de IA generativa. Proporcionamos calificaciones para más de 20 verificaciones preconfiguradas (que cubren casos de uso de lenguaje, código y embeddings), realizamos análisis de causa raíz en casos de fallo y brindamos información sobre cómo resolverlos.
Plataforma de prueba y evaluación para chatear, inspeccionar y depurar servidores MCP, aplicaciones MCP y aplicaciones ChatGPT.
El flujo de trabajo de Fable: cómo funcionó Claude Fable 5, destilado en habilidades que cualquier modelo puede ejecutar, con la evaluación que lo mantiene honesto. Piensa / actúa / demuestra.
📰 Artículos y blogs de lectura obligatoria sobre modelado de contexto largo basado en LLM 🔥
¡Compartiendo tanto conocimientos prácticos como teóricos sobre la evaluación de LLM que recopilamos mientras gestionábamos la Open LLM Leaderboard y diseñábamos lighteval!
Avalanche: una biblioteca de extremo a extremo para el aprendizaje continuo basada en PyTorch.
:cloud: :rocket: :bar_chart: :chart_with_upwards_trend: Evaluación del estado del arte en IA
Un evaluador automático para modelos de lenguaje que siguen instrucciones. Validado por humanos, de alta calidad, barato y rápido.
Un framework de Go para construir sistemas de agentes de producción con flujos de trabajo en grafo, herramientas, memoria, A2A, AG-UI, MCP, evaluación y observabilidad.
(IROS 2020, ECCVW 2020) Implementación oficial en Python para "3D Multi-Object Tracking: A Baseline and New Evaluation Metrics"
WFGY se dirige hacia WFGY 5.0 Polaris Protocol, una importante versión de código abierto para razonamiento de IA, RAG, agentes y flujos de trabajo en el mundo real. Incluye Problem Map, Global Debug Card, WFGY 4.0 y el Easter Egg de CFV.
Modelos de salud mental (LLM x Salud Mental), Pre y Post-entrenamiento & Conjunto de datos & Evaluación & Despliegue & RAG, con modelos de las series InternLM / Qwen / Baichuan / DeepSeek / Mixtral / LLama / GLM
La página oficial de GitHub para el artículo de revisión "A Survey on Evaluation of Large Language Models".
Código de evaluación para diversas métricas automáticas no supervisadas para la Generación de Lenguaje Natural.
KernelBench: ¿Pueden los LLM escribir kernels de GPU? - Benchmark + Toolkit con Torch -> CUDA (+ más DSL)
Benchmark de código abierto para agentes de IA en navegador en tareas diarias.
Un marco para el diagnóstico y la optimización integral de agentes mediante interacciones sintéticas realistas y simuladas
Preguntas frecuentes
¿Cuál es el repositorio de #evaluation más popular en GitHub?
El proyecto de código abierto de #evaluation mejor posicionado en GitHub es lm-sys/FastChat, con 39,550 estrellas. Una plataforma abierta para entrenar, servir y evaluar grandes modelos de lenguaje. Repositorio de lanzamiento para Vicuna y Chatbot Arena.
¿Qué lenguajes de programación se utilizan más en los repositorios de #evaluation?
Entre los proyectos de #evaluation mejor posicionados en GitHub, los lenguajes de programación más comunes son Python, TypeScript, Jupyter Notebook, Go.
¿Cómo se calcula la clasificación de los repositorios de #evaluation?
Seguimos 89 repositorios activos de código abierto etiquetados con #evaluation (500+ estrellas), que suman un total de 369,872 estrellas, con una media de 4,155 estrellas por repositorio. Las clasificaciones se actualizan diariamente a partir de la API de GitHub.