Git Stars Git Stars

#evaluation Dépôts

89
Total des Dépôts
369,872
Nombre total d'étoiles
4,155
Moyenne d'Étoiles/Dépôt
51
chunxiaoxx/nautilus-compass

Couche ouverte de mémoire et de fiabilité pour les agents d’IA + évaluation/vérification indépendante (juge NACRE, méta-benchmark caliber-bench, critères préenregistrés) — par Nautilus Platform

chunxiaoxx
⭐ 1,260 Python 👤 chunxiaoxx User 🕐 Mis à jour 2026-11-19 📅 Créé 2026-04-27
52
run-house/kubetorch

Distribuez et exécutez des charges de travail d'IA sur Kubernetes de manière magique en Python, comme PyTorch pour l'infrastructure ML.

run-house
⭐ 1,228 Python 👤 run-house Organization 🕐 Mis à jour 2026-05-29 📅 Créé 2022-05-10
53
google/fuzzbench

FuzzBench - Benchmarking de fuzzer en tant que service.

google
⭐ 1,211 Python 👤 google Organization 🕐 Mis à jour 2026-01-26 📅 Créé 2020-02-04
54
toshas/torch-fidelity

Métriques de performance haute fidélité pour les modèles génératifs dans PyTorch

toshas
⭐ 1,205 Python 👤 toshas User 🕐 Mis à jour 2026-10-25 📅 Créé 2020-04-23
55
ncalc/ncalc

NCalc est une bibliothèque rapide et légère d'évaluation d'expressions pour .NET, conçue pour la flexibilité et de hautes performances. Elle prend en charge une large gamme d'opérations mathématiques et logiques.

ncalc
⭐ 1,172 C# 👤 ncalc Organization 🕐 Mis à jour 2026-11-21 📅 Créé 2017-11-15
56
xinxuxin/keystone-bench

Un benchmark de décision clinique fondé sur les preuves : extraire le seul fait sur lequel repose une réponse et vérifier si l’action de l’assistant évolue en fonction des preuves. Construit à partir de HealthBench.

xinxuxin
⭐ 1,130 Python 👤 xinxuxin User 🕐 Mis à jour 2026-10-19 📅 Créé 2026-09-07
57
Jwuthri/Tracely-ai

CI/CD natif des traces pour les agents d’IA — les incidents en production deviennent des tests de régression qui bloquent la PR. Détection et regroupement automatiques, figés en cas hermétiques, puis rejoués dans la CI pour 0 $.

Jwuthri
⭐ 1,122 Python 👤 Jwuthri User 🕐 Mis à jour 2026-11-21 📅 Créé 2026-06-03
58
agentscope-ai/OpenJudge

OpenJudge : Un cadre unifié pour l'évaluation holistique et les récompenses de qualité

agentscope-ai
⭐ 1,121 Python 👤 agentscope-ai Organization 🕐 Mis à jour 2026-11-21 📅 Créé 2025-07-08
59
prometheus-eval/prometheus-eval

Évaluez la réponse de votre LLM avec Prometheus et GPT4 💯

prometheus-eval
⭐ 1,087 Python 👤 prometheus-eval Organization 🕐 Mis à jour 2025-04-25 📅 Créé 2024-04-18
60
langchain-ai/langsmith-sdk

Implémentations du SDK client LangSmith

langchain-ai
⭐ 1,082 Python 👤 langchain-ai Organization 🕐 Mis à jour 2026-10-16 📅 Créé 2023-05-30
61
MAC-AutoML/MindPipe

Un framework puissant de compression de modèles pour les LLMs et LVLMs, adapté aux GPU NVIDIA et aux NPU Huawei Ascend.

MAC-AutoML
⭐ 1,013 Python 👤 MAC-AutoML Organization 🕐 Mis à jour 2026-08-11 📅 Créé 2026-01-22
62
nolabs-ai/deepfabric

Générez des synthétiques de haute qualité, entraînez, mesurez et évaluez dans un pipeline unique

nolabs-ai
⭐ 896 Python 👤 nolabs-ai Organization 🕐 Mis à jour 2026-11-13 📅 Créé 2024-10-25
63
PRBonn/semantic-kitti-api

API SemanticKITTI pour visualiser le jeu de données, traiter les données et évaluer les résultats.

PRBonn
⭐ 895 Python 👤 PRBonn Organization 🕐 Mis à jour 2025-04-03 📅 Créé 2019-07-24
64
suyoumo/ClawProBench

ClawProBench est un harnais de benchmark priorisant les tests en direct pour évaluer les agents LLM dans l'environnement d'exécution OpenClaw avec notation déterministe et fiabilité des essais répétés.

suyoumo
⭐ 829 Rust 👤 suyoumo User 🕐 Mis à jour 2026-08-25 📅 Créé 2025-03-02
65
PaesslerAG/gval

Évaluation d'expressions en Golang

PaesslerAG
⭐ 819 Go 👤 PaesslerAG Organization 🕐 Mis à jour 2026-09-13 📅 Créé 2017-09-27
66
robocurve/inspect-robots

Évaluations open source pour l’IA physique. Exécutez n’importe quel LLM/VLA sur n’importe quel bras robotique ou humanoïde, selon n’importe quel benchmark réel ou simulé.

robocurve
⭐ 776 Python 👤 robocurve Organization 🕐 Mis à jour 2026-11-11 📅 Créé 2026-06-26
67
angular/web-codegen-scorer

Web Codegen Scorer est un outil permettant d'évaluer la qualité du code web généré par les LLM.

angular
⭐ 774 TypeScript 👤 angular Organization 🕐 Mis à jour 2026-05-05 📅 Créé 2025-09-04
68
IntelLabs/RAG-FiT

Framework pour améliorer les LLM pour les tâches RAG à l'aide du fine-tuning.

IntelLabs
⭐ 766 Python 👤 IntelLabs Organization 🕐 Mis à jour 2026-06-08 📅 Créé 2024-07-23
69
ModelTC/LightCompress

[EMNLP 2024 & AAAI 2026] Une boîte à outils puissante pour compresser les grands modèles, y compris les LLM, les VLM et les modèles génératifs vidéo.

ModelTC
⭐ 755 Python 👤 ModelTC Organization 🕐 Mis à jour 2026-05-14 📅 Créé 2024-03-06
70
comet-ml/opik-openclaw

🦞 Plugin officiel pour OpenClaw qui exporte les traces des agents vers Opik. Visualisez et surveillez le comportement de l'agent, les coûts, les tokens, les erreurs et plus encore.

comet-ml
⭐ 723 TypeScript 👤 comet-ml Organization 🕐 Mis à jour 2026-11-20 📅 Créé 2026-03-02
71
AgentSafeLabs/safelabs-eval

Cadre de tests d’intrusion et d’évaluation pour les agents d’IA, fondé sur une taxonomie ASI01–ASI10 inspirée d’OWASP

AgentSafeLabs
⭐ 713 Python 👤 AgentSafeLabs Organization 🕐 Mis à jour 2026-11-06 📅 Créé 2026-05-25
72
bochinski/iou-tracker

Implémentation Python de l'IOU Tracker

bochinski
⭐ 701 Python 👤 bochinski User 🕐 Mis à jour 2026-06-14 📅 Créé 2017-07-25
73
google-deepmind/long-form-factuality

Évaluation comparative de la factualité sur le long terme dans les grands modèles linguistiques. Code source de notre article « Long-form factuality in large language models ».

google-deepmind
⭐ 698 Python 👤 google-deepmind Organization 🕐 Mis à jour 2026-06-18 📅 Créé 2024-03-25
74
AmenRa/ranx

⚡️Une bibliothèque Python ultra-rapide pour l'évaluation, la comparaison et la fusion de classement 🐍

AmenRa
⭐ 691 Python 👤 AmenRa User 🕐 Mis à jour 2025-08-07 📅 Créé 2020-06-02
75
onejune2018/Awesome-LLM-Eval

Awesome-LLM-Eval: une liste organisée d'outils, de jeux de données/benchmarks, de démos, de classements, d'articles, de documents et de modèles, principalement pour l'évaluation des LLM. Une liste organisée d'outils, de benchmarks/données, de démos, de classements et de grands modèles, principalement axée sur l'évaluation des grands modèles de base, dans le but d'explorer les limites technologiques de l'IA générative.

onejune2018
⭐ 661 👤 onejune2018 User 🕐 Mis à jour 2025-11-24 📅 Créé 2023-04-26
76
run-llama/ParseBench

ParseBench - Un benchmark d'analyse de documents pour les agents IA

run-llama
⭐ 650 Python 👤 run-llama Organization 🕐 Mis à jour 2026-11-21 📅 Créé 2026-04-10
77
ucinlp/autoprompt

AutoPrompt : Construction automatique de prompts pour les modèles de langage masqués.

ucinlp
⭐ 643 Python 👤 ucinlp Organization 🕐 Mis à jour 2026-09-02 📅 Créé 2020-03-01
78
chrisliu298/awesome-llm-unlearning

Un référentiel de ressources pour le désapprentissage automatique dans les grands modèles de langage

chrisliu298
⭐ 640 👤 chrisliu298 User 🕐 Mis à jour 2026-10-06 📅 Créé 2024-03-27
79
onyx-dot-app/EnterpriseRAG-Bench

Ensemble de données et référence pour RAG sur les documents internes de l'entreprise.

onyx-dot-app
⭐ 639 👤 onyx-dot-app Organization 🕐 Mis à jour 2026-09-03 📅 Créé 2026-02-19
80
HowieHwong/TrustLLM

[ICML 2024] TrustLLM : évaluation de la fiabilité des LLM selon les critères de véracité, de sécurité, d’équité, de robustesse, de confidentialité et d’éthique. Boîte à outils Python/CLI pour les modèles locaux, les API compatibles et l’orchestration d’agents d’IA.

HowieHwong
⭐ 635 Python 👤 HowieHwong User 🕐 Mis à jour 2026-10-04 📅 Créé 2023-12-23
81
tecnickcom/tcexam

TCExam est un système CBA (Computer-Based Assessment) (e-exam, CBT - Computer Based Testing) pour les universités, écoles et entreprises, qui permet aux éducateurs et formateurs de créer, planifier, fournir et rapporter sur des enquêtes, quiz, tests et examens.

tecnickcom
⭐ 634 PHP 👤 tecnickcom Organization 🕐 Mis à jour 2026-11-21 📅 Créé 2013-04-15
82
codingseb/ExpressionEvaluator

Un évaluateur simple d'expressions mathématiques et pseudo C# dans un seul fichier C#. Peut également exécuter de petits scripts similaires à C#

codingseb
⭐ 630 C# 👤 codingseb User 🕐 Mis à jour 2025-09-08 📅 Créé 2017-03-15
83
danthedeckie/simpleeval

Évaluateur d'expressions simple, sûr, isolé et extensible pour Python

danthedeckie
⭐ 618 Python 👤 danthedeckie User 🕐 Mis à jour 2026-10-25 📅 Créé 2013-12-03
84
DocAILab/XRAG

XRAG : eXamining the Core - Évaluation comparative des modules de composants fondamentaux dans la génération avancée augmentée par récupération

DocAILab
⭐ 612 Python 👤 DocAILab Organization 🕐 Mis à jour 2026-11-01 📅 Créé 2024-09-07
85
MMMU-Benchmark/MMMU

Ce dépôt contient le code d'évaluation pour l'article « MMMU : Une référence massive multidisciplinaire multimodale pour la compréhension et le raisonnement destinée à l'expert AGI »

MMMU-Benchmark
⭐ 601 Python 👤 MMMU-Benchmark Organization 🕐 Mis à jour 2026-11-13 📅 Créé 2023-11-23
86
jkkummerfeld/text2sql-data

Une collection de jeux de données qui associent des questions à des requêtes SQL.

jkkummerfeld
⭐ 587 Python 👤 jkkummerfeld User 🕐 Mis à jour 2025-03-03 📅 Créé 2018-05-11
87
GrumpyZhou/image-matching-toolbox

Ceci est un référentiel d'outils pour aider à évaluer diverses méthodes qui effectuent la correspondance d'images à partir d'une paire d'images.

GrumpyZhou
⭐ 586 Jupyter Notebook 👤 GrumpyZhou User 🕐 Mis à jour 2024-04-29 📅 Créé 2020-11-24
88
facebookresearch/meta-agents-research-environments

Meta Agents Research Environments est une plateforme complète conçue pour évaluer les agents d'IA dans des scénarios dynamiques et réalistes. Contrairement aux benchmarks statiques, cette plateforme introduit des environnements en évolution où les agents doivent adapter leurs stratégies à mesure que de nouvelles informations deviennent disponibles, reflétant ainsi les défis du monde réel.

facebookresearch
⭐ 581 Python 👤 facebookresearch Organization 🕐 Mis à jour 2026-09-30 📅 Créé 2025-09-11
89
SeekingDream/Static-to-Dynamic-LLMEval

Le dépôt GitHub officiel de l'article « Recent advances in large language model benchmarks against data contamination: From static to dynamic evaluation »

SeekingDream
⭐ 500 👤 SeekingDream User 🕐 Mis à jour 2026-09-28 📅 Créé 2025-02-21