#benchmark Dépôts
193 dépôts au total
BenchMARL est une bibliothèque pour l'évaluation comparative de l'apprentissage par renforcement multi-agents (MARL). BenchMARL permet de comparer rapidement différents algorithmes, tâches et modèles MARL tout en étant systématiquement ancré dans ses deux principes fondamentaux : la reproductibilité et la standardisation.
AgentLab : Un cadre open-source pour développer, tester et benchmarker des agents web sur des tâches diverses, conçu pour la scalabilité et la reproductibilité。
Un petit (130B à 205B) et rapide utilitaire pour générer des ID aléatoires de longueur fixe
A.S.E (AICGSecEval) est un benchmark d'évaluation de la sécurité du code généré par IA au niveau du dépôt, développé par l'équipe de sécurité du code Tencent Wukong.
Awesome-LLM-Eval: une liste organisée d'outils, de jeux de données/benchmarks, de démos, de classements, d'articles, de documents et de modèles, principalement pour l'évaluation des LLM. Une liste organisée d'outils, de benchmarks/données, de démos, de classements et de grands modèles, principalement axée sur l'évaluation des grands modèles de base, dans le but d'explorer les limites technologiques de l'IA générative.
Un repository de datasets plutôt cool que j'ai collectés pour la recherche en science des réseaux et en apprentissage automatique.
Boîte à outils et benchmark CAIRI pour l'apprentissage de représentations visuelles supervisé, semi-supervisé et auto-supervisé
Ensemble de données et référence pour RAG sur les documents internes de l'entreprise.
[ICML 2024] TrustLLM : évaluation de la fiabilité des LLM selon les critères de véracité, de sécurité, d’équité, de robustesse, de confidentialité et d’éthique. Boîte à outils Python/CLI pour les modèles locaux, les API compatibles et l’orchestration d’agents d’IA.
Le tout premier vaste benchmark de traitement du langage naturel pour la langue indonésienne. Nous fournissons plusieurs tâches en aval, des modèles IndoBERT pré-entraînés et un code de démarrage ! (AACL-IJCNLP 2020)
Un réseau mondial de sondes pour exécuter des tests réseau comme ping, traceroute et résolution DNS
Benchmark d'apprentissage fédéré - Apprentissage fédéré sur des silos de données Non-IID : une étude expérimentale (ICDE 2022)
Un Benchmark de Classification de Texte en PyTorch
JailbreakBench : Une référence de robustesse ouverte pour le contournement (jailbreaking) des modèles de langage [Piste Datasets and Benchmarks de NeurIPS 2024]
Les agents d’IA peuvent-ils reconstruire des sites Web en explorant un navigateur ?
Une alternative moderne à iperf3 avec une TUI en direct, un serveur multi-client et la prise en charge de QUIC. Construit en Rust.
Aixio Layer v2 récupère les calques modifiables à partir de designs aplatis lorsque cela est possible. Évaluation comparative sur 150 designs face à Canva Magic Layers, Qwen-Image-Layer et GPT-6 Astra Ultra.
Meta Agents Research Environments est une plateforme complète conçue pour évaluer les agents d'IA dans des scénarios dynamiques et réalistes. Contrairement aux benchmarks statiques, cette plateforme introduit des environnements en évolution où les agents doivent adapter leurs stratégies à mesure que de nouvelles informations deviennent disponibles, reflétant ainsi les défis du monde réel.
Un benchmarkeur de framework http plus moderne prenant en charge les benchmarks HTTP/1 et HTTP/2.
Bibliothèque de sérialisation écrite en C++17 - Empaquetez les structs C++ dans un tableau d'octets compact sans macros ni code répétitif
Comparaison naïve des performances de quelques langages de programmation (JavaScript, Kotlin, Rust, Swift, Nim, Python, Go, Haskell, D, C++, Java, C#, Object Pascal, Ada, Lua, Ruby)
SpeechIO Leaderboard : une plateforme de benchmarking large, robuste et complète pour la reconnaissance vocale automatique.
Framework de benchmarking et de tests de performance pour les applications .NET :chart_with_upwards_trend:
Puissance de calcul maximale, bande passante mémoire et latence des CPU, GPU et NPU : les mêmes tests via chaque API permettant d’accéder à un appareil. Ligne de commande et application pour Windows, macOS, Linux et Android
Benchmark JavaScript pour les charges de travail courantes des développeurs web
Le dépôt officiel de GraphRAG-Bench pour évaluer les modèles GraphRAG. « Quand utiliser des graphes dans le RAG : une analyse complète de la génération augmentée par récupération de graphes ». (ICLR'26)
LongCite: Permettre aux LLM de générer des citations granulaires dans le QA à contexte long
[ICLR'25] BigCodeBench : Évaluation comparative de la génération de code vers l'AGI
État actuel des méthodes de complétion de profondeur supervisées et non supervisées
Dépassement de tokens ? Appelez Smith sans tarder ! Better Call Smith. Routage adaptatif des modèles, moniteur d’utilisation de Codex à l’interface translucide et benchmarks reproductibles avec justificatifs.
Le dépôt GitHub officiel de l'article « Recent advances in large language model benchmarks against data contamination: From static to dynamic evaluation »