#benchmark Dépôts
193 dépôts au total
Une comparaison objective de plusieurs frameworks qui nous permettent de "transformer" nos applications web en applications de bureau.
Une boîte à outils d'apprentissage automatique pour l'analyse des journaux [ICSE'19, DSN'16]
SkillsBench évalue le fonctionnement des compétences et l'efficacité avec laquelle les agents les utilisent.
Expérimentation des pratiques de codage "Less Slow" en C++ 20, C, CUDA, PTX et Assembly, du numérique & SIMD aux coroutines, ranges, gestion des exceptions, réseau et E/S en espace utilisateur
Profileur Rust pour les performances du processeur, de la mémoire, de SQL, de HTTP et de l’asynchrone, avec prise en charge de Prometheus et Grafana.
Évaluation comparative du transfert de connaissances dans l'apprentissage robotique tout au long de la vie
BEHAVIOR-1K : une plateforme pour accélérer la recherche sur l'IA incarnée. Rejoignez notre Discord pour obtenir de l'aide : https://discord.gg/bccR5vGFEx
Fonctionnalité simple, rapide et précise de microbenchmarking à un seul en-tête pour C++11/14/17/20
Une boîte à outils d’apprentissage profond pour l’IA en santé : dossiers médicaux électroniques (MIMIC, eICU, OMOP), textes cliniques, signaux et imagerie. Plus de 30 modèles et des pipelines reproductibles.
Une collection d'environnements de référence pour l'apprentissage par renforcement hors ligne
La page officielle GitHub du document de synthèse "A Survey on Evaluation of Large Language Models".
DomainBed est une suite pour tester les algorithmes de généralisation de domaine
Benchmarkez les LLM en combattant dans Street Fighter 3 ! La nouvelle façon d'évaluer la qualité d'un LLM
Compilateur rapide pour les arbres d'expression C# et la solution alternative légère LightExpression. Outils de diagnostic et de génération de code pour les expressions.
[pip install medmnist] 18 jeux de données standardisés pour la classification d'images biomédicales 2D et 3D
Framework modulaire d'apprentissage par renforcement profond en PyTorch. Bibliothèque compagnon du livre "Foundations of Deep Reinforcement Learning".
KernelBench : Les LLM peuvent-ils écrire des noyaux GPU ? - Benchmark + Toolkit avec Torch -> CUDA (+ autres DSL)
Benchmark open-source pour les agents IA de navigateur sur des tâches quotidiennes.
[NeurIPS '25] Génération de graphes de connaissances à partir de n'importe quel texte
GitHub Action pour le benchmarking continu afin de maintenir les performances
Couche ouverte de mémoire et de fiabilité pour les agents d’IA + évaluation/vérification indépendante (juge NACRE, méta-benchmark caliber-bench, critères préenregistrés) — par Nautilus Platform
Notes de lecture sur les grands modèles de langage multimodaux, les grands modèles de langage et les modèles de diffusion
Cadre computationnel pour l'apprentissage par renforcement dans le contrôle du trafic
OpenSTL : Une référence complète pour l'apprentissage prédictif spatio-temporel
Un benchmark de décision clinique fondé sur les preuves : extraire le seul fait sur lequel repose une réponse et vérifier si l’action de l’assistant évolue en fonction des preuves. Construit à partir de HealthBench.
JMLR : OmniSafe est un cadre d'infrastructure pour accélérer la recherche SafeRL.
Un environnement dynamique pour évaluer les attaques et les défenses pour les agents LLM.