#benchmark Repositorios
193 repositorios en total
Una comparación objetiva de múltiples frameworks que nos permiten "transformar" nuestras aplicaciones web en aplicaciones de escritorio.
Un kit de herramientas de aprendizaje automático para el análisis de registros [ICSE'19, DSN'16]
SkillsBench evalúa qué tan bien funcionan las habilidades y qué tan efectivos son los agentes al utilizarlas.
Experimentando con prácticas de codificación "Less Slow" en C++ 20, C, CUDA, PTX y Assembly, desde numéricos y SIMD hasta corrutinas, rangos, manejo de excepciones, redes y E/S de espacio de usuario
Perfilador de Rust para analizar el rendimiento de la CPU, la memoria, SQL, HTTP y las operaciones asíncronas, con soporte para Prometheus y Grafana.
Evaluación comparativa de la transferencia de conocimiento en el aprendizaje robótico permanente
BEHAVIOR-1K: una plataforma para acelerar la investigación en IA encarnada. Únete a nuestro Discord para obtener ayuda: https://discord.gg/bccR5vGFEx
Funcionalidad simple, rápida y precisa de microbenchmarking de un solo encabezado para C++11/14/17/20
Un kit de herramientas de aprendizaje profundo para la IA en salud: historias clínicas electrónicas (MIMIC, eICU, OMOP), texto clínico, señales e imágenes. Más de 30 modelos y flujos de trabajo reproducibles.
Implementaciones de referencia de los puntos de referencia de inferencia MLPerf®
Una colección de entornos de referencia para el aprendizaje por refuerzo sin conexión
La página oficial de GitHub para el artículo de revisión "A Survey on Evaluation of Large Language Models".
DomainBed es una suite para probar algoritmos de generalización de dominios
¡Evalúa LLMs luchando en Street Fighter 3! La nueva forma de evaluar la calidad de un LLM
Compilador rápido para árboles de expresión de C# y la alternativa ligera LightExpression. Herramientas de diagnóstico y generación de código para las expresiones.
[pip install medmnist] 18 conjuntos de datos estandarizados para clasificación de imágenes biomédicas 2D y 3D
Framework modular de Deep Reinforcement Learning en PyTorch. Biblioteca complementaria del libro "Foundations of Deep Reinforcement Learning".
KernelBench: ¿Pueden los LLM escribir kernels de GPU? - Benchmark + Toolkit con Torch -> CUDA (+ más DSL)
Benchmark de código abierto para agentes de IA en navegador en tareas diarias.
Acción de GitHub para benchmarking continuo para mantener el rendimiento
Capa abierta de memoria y fiabilidad para agentes de IA + evaluación/verificación independiente (juez NACRE, metabenchmark caliber-bench, criterios prerregistrados) — de Nautilus Platform
PDEBench: Un extenso punto de referencia para el aprendizaje automático científico
Notas de lectura sobre Modelos Grandes de Lenguaje Multimodales, Modelos Grandes de Lenguaje y Modelos de Difusión
Un punto de referencia de evidencia para decisiones clínicas: extraer el único hecho en el que se basa una respuesta y comprobar si la acción del asistente cambia conforme a la evidencia. Basado en HealthBench.
JMLR: OmniSafe es un marco de infraestructura para acelerar la investigación SafeRL.