#benchmark Repositorios
193 repositorios en total
BenchMARL es una biblioteca para la evaluación comparativa de Multi-Agent Reinforcement Learning (MARL). BenchMARL permite comparar rápidamente diferentes algoritmos, tareas y modelos de MARL, al tiempo que se basa sistemáticamente en sus dos principios fundamentales: reproducibilidad y estandarización.
AgentLab: Un marco de código abierto para desarrollar, probar y evaluar agentes web en tareas diversas, diseñado para escalabilidad y reproducibilidad.
Una utilidad pequeña (130B a 205B) y rápida para generar ID aleatorios de longitud fija
A.S.E (AICGSecEval) es un benchmark de evaluación de seguridad de código generado por IA a nivel de repositorio, desarrollado por el equipo de seguridad de código Tencent Wukong.
Awesome-LLM-Eval: una lista curada de herramientas, conjuntos de datos/benchmarks, demostraciones, tablas de clasificación, artículos, documentos y modelos, principalmente para la Evaluación en LLMs. Una lista curada de herramientas, benchmarks/datos, demostraciones, tablas de clasificación y grandes modelos, que se enfoca principalmente en la evaluación de grandes modelos base, con el objetivo de explorar los límites tecnológicos de la IA generativa.
Un repositorio de conjuntos de datos bastante geniales que he recopilado para la investigación en ciencia de redes y aprendizaje automático.
CAIRI Toolbox y Benchmark para el Aprendizaje de Representaciones Visuales Supervisado, Semi-Supervisado y Auto-Supervisado
ParseBench - Un punto de referencia de análisis de documentos para agentes de IA
Conjunto de datos y referencia para RAG en documentos internos de la empresa.
[ICML 2024] TrustLLM: evaluación de la confiabilidad de los LLM en términos de veracidad, seguridad, equidad, robustez, privacidad y ética. Kit de herramientas de Python/CLI para modelos locales, API compatibles y orquestación de agentes de IA.
El primer y extenso benchmark de procesamiento de lenguaje natural para el idioma indonesio. ¡Proporcionamos múltiples tareas posteriores, modelos IndoBERT preentrenados y un código de inicio! (AACL-IJCNLP 2020)
Una red global de sondas para ejecutar pruebas de red como ping, traceroute y resolución DNS
Benchmark de Aprendizaje Federado - Aprendizaje Federado en Silos de Datos No IID: Un Estudio Experimental (ICDE 2022)
Un Benchmark de Clasificación de Texto en PyTorch
JailbreakBench: Un benchmark de robustez abierto para el jailbreaking de modelos de lenguaje [Track de Datasets y Benchmarks de NeurIPS 2024]
¿Pueden los agentes de IA reconstruir sitios web explorando el navegador?
Una alternativa moderna a iperf3 con TUI en vivo, servidor multi-cliente y soporte para QUIC. Construido en Rust.
Aixio Layer v2 recupera capas editables de diseños planos cuando es posible. Evaluación comparativa con 150 diseños frente a Canva Magic Layers, Qwen-Image-Layer y GPT-6 Astra Ultra.
Meta Agents Research Environments es una plataforma integral diseñada para evaluar agentes de IA en escenarios dinámicos y realistas. A diferencia de los puntos de referencia estáticos, esta plataforma introduce entornos en evolución donde los agentes deben adaptar sus estrategias a medida que hay nueva información disponible, reflejando los desafíos del mundo real.
Un benchmark de framework http más moderno que admite benchmarks HTTP/1 y HTTP/2.
Biblioteca de serialización escrita en C++17 - Empaquete estructuras C++ en un array de bytes compacto sin macros ni código repetitivo
Comparación ingenua de rendimiento de algunos lenguajes de programación (JavaScript, Kotlin, Rust, Swift, Nim, Python, Go, Haskell, D, C++, Java, C#, Object Pascal, Ada, Lua, Ruby)
SpeechIO Leaderboard: una plataforma de benchmarking grande, robusta y completa para el reconocimiento automático del habla.
Marco de benchmarking de rendimiento y pruebas para aplicaciones .NET :chart_with_upwards_trend:
Rendimiento de cálculo máximo, ancho de banda de memoria y latencia de CPU, GPU y NPU: las mismas pruebas a través de cada API que accede a un dispositivo. Línea de comandos y aplicación para Windows, macOS, Linux y Android
Benchmark de Java RPC, inspirado en https://www.techempower.com/benchmarks/
Benchmark de JavaScript para cargas de trabajo comunes de desarrolladores web
El repositorio oficial de GraphRAG-Bench para evaluar modelos GraphRAG. «Cuándo usar grafos en RAG: un análisis exhaustivo de la generación aumentada mediante recuperación de grafos». (ICLR'26)
[ICLR'25] BigCodeBench: Evaluación comparativa de la generación de código hacia la AGI
Estado actual de los métodos supervisados y no supervisados de completación de profundidad
¿Exceso de tokens? ¡Mejor llama a Smith! Better Call Smith. Enrutamiento adaptativo de modelos, un elegante monitor de uso de Codex y benchmarks reproducibles con pruebas.
El repositorio oficial de GitHub del paper "Recent advances in large language model benchmarks against data contamination: From static to dynamic evaluation"