#evaluation Repositorios
89 repositorios en total
Capa abierta de memoria y fiabilidad para agentes de IA + evaluación/verificación independiente (juez NACRE, metabenchmark caliber-bench, criterios prerregistrados) — de Nautilus Platform
Distribuya y ejecute cargas de trabajo de IA en Kubernetes mágicamente en Python, como PyTorch para la infraestructura de ML.
Métricas de rendimiento de alta fidelidad para modelos generativos en PyTorch
NCalc es una biblioteca rápida y ligera de evaluación de expresiones para .NET, diseñada para flexibilidad y alto rendimiento. Soporta una amplia gama de operaciones matemáticas y lógicas.
Un punto de referencia de evidencia para decisiones clínicas: extraer el único hecho en el que se basa una respuesta y comprobar si la acción del asistente cambia conforme a la evidencia. Basado en HealthBench.
CI/CD nativo de trazas para agentes de IA: los fallos en producción se convierten en pruebas de regresión que bloquean el PR. Detección y agrupación automáticas, conversión en casos herméticos y reproducción en CI por 0 $.
OpenJudge: Un marco unificado para la evaluación holística y recompensas de calidad
Un marco potente de compresión de modelos para LLMs y LVLMs, adaptado para GPUs NVIDIA y NPUs Huawei Ascend.
Genere sintéticos de alta calidad, entrene, mida y evalúe en un solo pipeline
API de SemanticKITTI para visualizar el conjunto de datos, procesar datos y evaluar resultados.
ClawProBench es un arnés de benchmark con prioridad en pruebas en vivo para evaluar agentes LLM en el entorno de ejecución OpenClaw con calificación determinística y fiabilidad en pruebas repetidas.
Evaluaciones de código abierto para la IA física. Ejecuta cualquier LLM/VLA en cualquier brazo robótico o humanoide frente a cualquier benchmark real o simulado.
Web Codegen Scorer es una herramienta para evaluar la calidad del código web generado por los LLM.
[EMNLP 2024 & AAAI 2026] Un potente kit de herramientas para comprimir modelos grandes, incluidos LLM, VLM y modelos generativos de video.
🦞 Plugin oficial para OpenClaw que exporta trazas de agentes a Opik. Ve y monitorea el comportamiento del agente, costo, tokens, errores y más.
Marco de pruebas de equipo rojo y evaluación para agentes de IA, basado en una taxonomía ASI01–ASI10 inspirada en OWASP
Benchmarking de la factualidad a largo plazo en modelos de lenguaje grandes. Código original de nuestro artículo "Long-form factuality in large language models".
⚡️Una biblioteca Python ultrarrápida para evaluación, comparación y fusión de rankings 🐍
Awesome-LLM-Eval: una lista curada de herramientas, conjuntos de datos/benchmarks, demostraciones, tablas de clasificación, artículos, documentos y modelos, principalmente para la Evaluación en LLMs. Una lista curada de herramientas, benchmarks/datos, demostraciones, tablas de clasificación y grandes modelos, que se enfoca principalmente en la evaluación de grandes modelos base, con el objetivo de explorar los límites tecnológicos de la IA generativa.
ParseBench - Un punto de referencia de análisis de documentos para agentes de IA
AutoPrompt: Construcción Automática de Prompts para Modelos de Lenguaje Enmascarado.
Un repositorio de recursos para el desaprendizaje automático en modelos de lenguaje grandes
Conjunto de datos y referencia para RAG en documentos internos de la empresa.
[ICML 2024] TrustLLM: evaluación de la confiabilidad de los LLM en términos de veracidad, seguridad, equidad, robustez, privacidad y ética. Kit de herramientas de Python/CLI para modelos locales, API compatibles y orquestación de agentes de IA.
TCExam es un sistema CBA (Computer-Based Assessment) (e-exam, CBT - Computer Based Testing) para universidades, escuelas y empresas, que permite a los educadores y formadores crear, programar, entregar e informar sobre encuestas, cuestionarios, pruebas y exámenes.
Un evaluador simple de expresiones matemáticas y pseudo C# en un solo archivo C#. También puede ejecutar pequeños scripts similares a C#
Evaluador de expresiones simple, seguro, aislado y extensible para Python
XRAG: eXamining the Core - Evaluación comparativa de módulos de componentes fundamentales en la generación avanzada aumentada mediante recuperación
Este repositorio contiene el código de evaluación para el artículo "MMMU: A Massive Multi-discipline Multimodal Understanding and Reasoning Benchmark for Expert AGI"
Una colección de conjuntos de datos que emparejan preguntas con consultas SQL.
Este es un repositorio de herramientas para ayudar a evaluar varios métodos que realizan la coincidencia de imágenes a partir de un par de imágenes.
Meta Agents Research Environments es una plataforma integral diseñada para evaluar agentes de IA en escenarios dinámicos y realistas. A diferencia de los puntos de referencia estáticos, esta plataforma introduce entornos en evolución donde los agentes deben adaptar sus estrategias a medida que hay nueva información disponible, reflejando los desafíos del mundo real.
El repositorio oficial de GitHub del paper "Recent advances in large language model benchmarks against data contamination: From static to dynamic evaluation"