#evaluation Dépôts
89 dépôts au total
Couche ouverte de mémoire et de fiabilité pour les agents d’IA + évaluation/vérification indépendante (juge NACRE, méta-benchmark caliber-bench, critères préenregistrés) — par Nautilus Platform
Distribuez et exécutez des charges de travail d'IA sur Kubernetes de manière magique en Python, comme PyTorch pour l'infrastructure ML.
Métriques de performance haute fidélité pour les modèles génératifs dans PyTorch
NCalc est une bibliothèque rapide et légère d'évaluation d'expressions pour .NET, conçue pour la flexibilité et de hautes performances. Elle prend en charge une large gamme d'opérations mathématiques et logiques.
Un benchmark de décision clinique fondé sur les preuves : extraire le seul fait sur lequel repose une réponse et vérifier si l’action de l’assistant évolue en fonction des preuves. Construit à partir de HealthBench.
CI/CD natif des traces pour les agents d’IA — les incidents en production deviennent des tests de régression qui bloquent la PR. Détection et regroupement automatiques, figés en cas hermétiques, puis rejoués dans la CI pour 0 $.
OpenJudge : Un cadre unifié pour l'évaluation holistique et les récompenses de qualité
Un framework puissant de compression de modèles pour les LLMs et LVLMs, adapté aux GPU NVIDIA et aux NPU Huawei Ascend.
Générez des synthétiques de haute qualité, entraînez, mesurez et évaluez dans un pipeline unique
API SemanticKITTI pour visualiser le jeu de données, traiter les données et évaluer les résultats.
ClawProBench est un harnais de benchmark priorisant les tests en direct pour évaluer les agents LLM dans l'environnement d'exécution OpenClaw avec notation déterministe et fiabilité des essais répétés.
Évaluations open source pour l’IA physique. Exécutez n’importe quel LLM/VLA sur n’importe quel bras robotique ou humanoïde, selon n’importe quel benchmark réel ou simulé.
Web Codegen Scorer est un outil permettant d'évaluer la qualité du code web généré par les LLM.
[EMNLP 2024 & AAAI 2026] Une boîte à outils puissante pour compresser les grands modèles, y compris les LLM, les VLM et les modèles génératifs vidéo.
🦞 Plugin officiel pour OpenClaw qui exporte les traces des agents vers Opik. Visualisez et surveillez le comportement de l'agent, les coûts, les tokens, les erreurs et plus encore.
Cadre de tests d’intrusion et d’évaluation pour les agents d’IA, fondé sur une taxonomie ASI01–ASI10 inspirée d’OWASP
Évaluation comparative de la factualité sur le long terme dans les grands modèles linguistiques. Code source de notre article « Long-form factuality in large language models ».
⚡️Une bibliothèque Python ultra-rapide pour l'évaluation, la comparaison et la fusion de classement 🐍
Awesome-LLM-Eval: une liste organisée d'outils, de jeux de données/benchmarks, de démos, de classements, d'articles, de documents et de modèles, principalement pour l'évaluation des LLM. Une liste organisée d'outils, de benchmarks/données, de démos, de classements et de grands modèles, principalement axée sur l'évaluation des grands modèles de base, dans le but d'explorer les limites technologiques de l'IA générative.
AutoPrompt : Construction automatique de prompts pour les modèles de langage masqués.
Un référentiel de ressources pour le désapprentissage automatique dans les grands modèles de langage
Ensemble de données et référence pour RAG sur les documents internes de l'entreprise.
[ICML 2024] TrustLLM : évaluation de la fiabilité des LLM selon les critères de véracité, de sécurité, d’équité, de robustesse, de confidentialité et d’éthique. Boîte à outils Python/CLI pour les modèles locaux, les API compatibles et l’orchestration d’agents d’IA.
TCExam est un système CBA (Computer-Based Assessment) (e-exam, CBT - Computer Based Testing) pour les universités, écoles et entreprises, qui permet aux éducateurs et formateurs de créer, planifier, fournir et rapporter sur des enquêtes, quiz, tests et examens.
Un évaluateur simple d'expressions mathématiques et pseudo C# dans un seul fichier C#. Peut également exécuter de petits scripts similaires à C#
XRAG : eXamining the Core - Évaluation comparative des modules de composants fondamentaux dans la génération avancée augmentée par récupération
Ce dépôt contient le code d'évaluation pour l'article « MMMU : Une référence massive multidisciplinaire multimodale pour la compréhension et le raisonnement destinée à l'expert AGI »
Une collection de jeux de données qui associent des questions à des requêtes SQL.
Ceci est un référentiel d'outils pour aider à évaluer diverses méthodes qui effectuent la correspondance d'images à partir d'une paire d'images.
Meta Agents Research Environments est une plateforme complète conçue pour évaluer les agents d'IA dans des scénarios dynamiques et réalistes. Contrairement aux benchmarks statiques, cette plateforme introduit des environnements en évolution où les agents doivent adapter leurs stratégies à mesure que de nouvelles informations deviennent disponibles, reflétant ainsi les défis du monde réel.
Le dépôt GitHub officiel de l'article « Recent advances in large language model benchmarks against data contamination: From static to dynamic evaluation »