Git Stars Git Stars

#llm-evaluation Dépôts

108
Total des Dépôts
444,825
Nombre total d'étoiles
4,118
Moyenne d'Étoiles/Dépôt
51
JackHopkins/factorio-learning-environment

Un environnement non saturant et ouvert pour l'évaluation des LLM dans Factorio

JackHopkins
⭐ 1,224 Python 👤 JackHopkins User 🕐 Mis à jour 2026-09-18 📅 Créé 2021-06-19
52
cvs-health/uqlm

[JMLR 2026] UQLM : un package Python pour détecter les hallucinations des grands modèles de langage à l’aide de la quantification de l’incertitude

cvs-health
⭐ 1,215 Python 👤 cvs-health Organization 🕐 Mis à jour 2026-11-08 📅 Créé 2025-04-17
54
togethercomputer/together-cookbook

Une collection de notebooks/recettes présentant des cas d'utilisation de modèles open-source avec Together AI.

togethercomputer
⭐ 1,191 Jupyter Notebook 👤 togethercomputer Organization 🕐 Mis à jour 2026-11-18 📅 Créé 2024-10-07
55
wandb/weave

Weave est une boîte à outils pour le développement d'applications alimentées par l'IA, construite par Weights & Biases.

wandb
⭐ 1,151 Python 👤 wandb Organization 🕐 Mis à jour 2026-11-20 📅 Créé 2023-06-07
56
xinxuxin/keystone-bench

Un benchmark de décision clinique fondé sur les preuves : extraire le seul fait sur lequel repose une réponse et vérifier si l’action de l’assistant évolue en fonction des preuves. Construit à partir de HealthBench.

xinxuxin
⭐ 1,130 Python 👤 xinxuxin User 🕐 Mis à jour 2026-10-19 📅 Créé 2026-09-07
57
Jwuthri/Tracely-ai

CI/CD natif des traces pour les agents d’IA — les incidents en production deviennent des tests de régression qui bloquent la PR. Détection et regroupement automatiques, figés en cas hermétiques, puis rejoués dans la CI pour 0 $.

Jwuthri
⭐ 1,122 Python 👤 Jwuthri User 🕐 Mis à jour 2026-11-21 📅 Créé 2026-06-03
58
Arena-OSS/arena-hard-auto

Arena-Hard-Auto : Une référence LLM automatique.

Arena-OSS
⭐ 1,087 Python 👤 Arena-OSS Organization 🕐 Mis à jour 2026-11-20 📅 Créé 2023-11-04
59
braintrustdata/autoevals

AutoEvals est un outil permettant d'évaluer rapidement et facilement les sorties des modèles d'IA en utilisant les meilleures pratiques.

braintrustdata
⭐ 1,087 Python 👤 braintrustdata Organization 🕐 Mis à jour 2026-11-19 📅 Créé 2023-07-11
60
Continuum-AI-Corp/OrcaReplay

OrcaReplay — Voyage dans le temps pour les agents d’IA. Enregistrez, rejouez, bifurquez et déboguez n’importe quelle exécution d’agent avec n’importe quel modèle. Créé par l’équipe d’OrcaRouter.ai.

Continuum-AI-Corp
⭐ 1,083 TypeScript 👤 Continuum-AI-Corp Organization 🕐 Mis à jour 2026-10-01 📅 Créé 2026-08-29
62
JudgmentLabs/judgeval

La pile d'amélioration continue pour les agents. Nos données d'environnement et nos évaluations alimentent l'amélioration et la surveillance des agents.

JudgmentLabs
⭐ 1,073 Python 👤 JudgmentLabs Organization 🕐 Mis à jour 2026-11-19 📅 Créé 2024-10-25
63
ray-project/llmperf

LLMPerf est une bibliothèque pour la validation et la mise en benchmark des LLM

ray-project
⭐ 1,066 Python 👤 ray-project Organization 🕐 Mis à jour 2024-12-09 📅 Créé 2023-10-10
64
benchflow-ai/awesome-evals

Une bibliothèque organisée et sans fioritures des meilleures ressources pour construire et évaluer des agents d'IA — articles, blogs, conférences, outils, benchmarks. Maintenue par BenchFlow.

benchflow-ai
⭐ 1,049 👤 benchflow-ai Organization 🕐 Mis à jour 2026-11-04 📅 Créé 2026-06-24
65
amazon-science/RAGChecker

RAGChecker: Un cadre détaillé pour diagnostiquer RAG

amazon-science
⭐ 1,032 Python 👤 amazon-science Organization 🕐 Mis à jour 2024-12-13 📅 Créé 2024-06-24
66
majacinka/crewai-experiments

Expériences avec des modèles locaux ainsi qu'avec des modèles disponibles via une API

majacinka
⭐ 1,006 Python 👤 majacinka User 🕐 Mis à jour 2024-05-05 📅 Créé 2024-01-13
67
KCORES/kcores-llm-arena

LLM Arena par l'équipe KCORES

KCORES
⭐ 960 HTML 👤 KCORES Organization 🕐 Mis à jour 2025-04-29 📅 Créé 2025-02-12
68
superwesleyhys-ux/factcircuit

FactCircuit : une boucle auditable de vérification des affirmations et des preuves, avec une provenance immuable, des contrôles par étapes, une récupération limitée et une évaluation reproductible.

superwesleyhys-ux
⭐ 926 Python 👤 superwesleyhys-ux User 🕐 Mis à jour 2026-11-13 📅 Créé 2026-09-06
70
hinthornw/promptimizer

Scratch d'optimisation des invites

hinthornw
⭐ 899 Python 👤 hinthornw User 🕐 Mis à jour 2025-04-17 📅 Créé 2024-10-30
71
xlang-ai/Spider2

[ICLR 2025 Oral] Spider 2.0 : Évaluation des modèles linguistiques sur des flux de travail Text-to-SQL réels en entreprise

xlang-ai
⭐ 890 HTML 👤 xlang-ai Organization 🕐 Mis à jour 2026-08-12 📅 Créé 2024-08-22
72
yule-BUAA/MergeLM

Codebase pour la fusion de modèles linguistiques (ICML 2024)

yule-BUAA
⭐ 862 Python 👤 yule-BUAA User 🕐 Mis à jour 2024-05-05 📅 Créé 2023-11-06
73
jwuthri-cloud/Tracely-ai

CI/CD natif des traces pour les agents d’IA : évaluez les traces de production, regroupez les échecs, transformez-les en tests de régression rejouables et bloquez les PR qui introduisent des régressions. Peut être hébergé sur vos propres serveurs.

jwuthri-cloud
⭐ 850 Python 👤 jwuthri-cloud User 🕐 Mis à jour 2026-11-16 📅 Créé 2026-10-11
74
darkrishabh/agent-skills-eval

Un exécuteur de tests pour les compétences d'agents IA de style agentskills.io

darkrishabh
⭐ 819 TypeScript 👤 darkrishabh User 🕐 Mis à jour 2026-11-16 📅 Créé 2026-05-06
75
tjunlp-lab/Awesome-LLMs-Evaluation-Papers

Les articles sont organisés selon notre étude : Evaluating Large Language Models: A Comprehensive Survey.

tjunlp-lab
⭐ 791 👤 tjunlp-lab User 🕐 Mis à jour 2024-05-08 📅 Créé 2023-10-29
77
overmind-core/overmind

La plateforme pour améliorer continuellement les agents d’IA.

overmind-core
⭐ 771 Python 👤 overmind-core Organization 🕐 Mis à jour 2026-11-21 📅 Créé 2026-03-27
79
OpenLMLab/GAOKAO-Bench

GAOKAO-Bench est un cadre d'évaluation qui utilise les questions GAOKAO comme ensemble de données pour évaluer les grands modèles linguistiques.

OpenLMLab
⭐ 754 Python 👤 OpenLMLab Organization 🕐 Mis à jour 2025-01-07 📅 Créé 2023-04-16
80
EverMind-AI/SkillCorpus

Infrastructure open source qui transforme des fichiers SKILL.md dispersés en corpus de compétences d’agents sélectionnés et prêts pour la recherche, avec des outils de recherche et d’évaluation inclus.

EverMind-AI
⭐ 706 Python 👤 EverMind-AI Organization 🕐 Mis à jour 2026-11-19 📅 Créé 2026-08-11
81
Steven-Luo/MasteringRAG

Système RAG d'entreprise : de l'introduction à la maîtrise

Steven-Luo
⭐ 699 Jupyter Notebook 👤 Steven-Luo User 🕐 Mis à jour 2025-06-25 📅 Créé 2024-07-16
82
mlabonne/llm-autoeval

Évaluez automatiquement vos LLM dans Google Colab

mlabonne
⭐ 678 Python 👤 mlabonne User 🕐 Mis à jour 2024-05-07 📅 Créé 2024-01-01
83
onejune2018/Awesome-LLM-Eval

Awesome-LLM-Eval: une liste organisée d'outils, de jeux de données/benchmarks, de démos, de classements, d'articles, de documents et de modèles, principalement pour l'évaluation des LLM. Une liste organisée d'outils, de benchmarks/données, de démos, de classements et de grands modèles, principalement axée sur l'évaluation des grands modèles de base, dans le but d'explorer les limites technologiques de l'IA générative.

onejune2018
⭐ 661 👤 onejune2018 User 🕐 Mis à jour 2025-11-24 📅 Créé 2023-04-26
84
wanghao-SunSky/cs329z-chinese

Tutoriel en chinois de Stanford CS329Z Engineering AI Agents : un cours sur les agents d’IA destiné aux développeurs Python, avec 19 leçons et 4 travaux pratiques, couvrant les LLM, le RAG, l’appel d’outils, la mémoire, les systèmes multi-agents, l’évaluation et la sécurité. Markdown complet et HTML consultable en ligne ou hors ligne. Notes de cours en chinois.

wanghao-SunSky
⭐ 658 HTML 👤 wanghao-SunSky User 🕐 Mis à jour 2026-11-06 📅 Créé 2026-10-28
85
ValueByte-AI/Awesome-LLM-in-Social-Science

Articles impressionnants impliquant des LLM en sciences sociales.

ValueByte-AI
⭐ 652 👤 ValueByte-AI Organization 🕐 Mis à jour 2026-11-14 📅 Créé 2023-10-15
86
codefuse-ai/codefuse-devops-eval

Benchmark d'évaluation industriel pionnier pour les LLM dans le domaine DevOps/AIOps.

codefuse-ai
⭐ 646 Python 👤 codefuse-ai Organization 🕐 Mis à jour 2024-07-10 📅 Créé 2023-09-28
87
onyx-dot-app/EnterpriseRAG-Bench

Ensemble de données et référence pour RAG sur les documents internes de l'entreprise.

onyx-dot-app
⭐ 639 👤 onyx-dot-app Organization 🕐 Mis à jour 2026-09-03 📅 Créé 2026-02-19
88
HowieHwong/TrustLLM

[ICML 2024] TrustLLM : évaluation de la fiabilité des LLM selon les critères de véracité, de sécurité, d’équité, de robustesse, de confidentialité et d’éthique. Boîte à outils Python/CLI pour les modèles locaux, les API compatibles et l’orchestration d’agents d’IA.

HowieHwong
⭐ 635 Python 👤 HowieHwong User 🕐 Mis à jour 2026-10-04 📅 Créé 2023-12-23
89
inclusionAI/ASearcher

Un Projet d'Apprentissage par Renforcement à Grande Échelle Open Source pour les Agents de Recherche

inclusionAI
⭐ 617 Python 👤 inclusionAI Organization 🕐 Mis à jour 2025-11-26 📅 Créé 2025-08-05
90
mlfoundations/evalchemy

Évaluations automatiques pour les LLM

mlfoundations
⭐ 617 HTML 👤 mlfoundations Organization 🕐 Mis à jour 2026-11-12 📅 Créé 2024-11-15
92
SalesforceAIResearch/MCP-Universe

MCP-Universe est un cadre complet conçu pour l'entraînement RL, le benchmarking et le développement d'agents IA pour l'utilisation générale d'outils.

SalesforceAIResearch
⭐ 606 Python 👤 SalesforceAIResearch Organization 🕐 Mis à jour 2026-10-08 📅 Créé 2025-05-02
93
CSHaitao/Awesome-LLMs-as-Judges

Le dépôt officiel du document, LLMs-as-Judges : Une enquête complète sur les méthodes d'évaluation basées sur les LLM.

CSHaitao
⭐ 600 👤 CSHaitao User 🕐 Mis à jour 2025-07-29 📅 Créé 2024-11-10
94
harish-gaggar/mcp-server-gateway

Passerelle MCP et serveurs MCP avec OAuth. Agent LangGraph : mémoire, évaluation/suivi, protection des informations personnelles (PII) et réduction du contexte. Guide de démarrage rapide avec Docker pour les agents d’entreprise.

harish-gaggar
⭐ 588 Python 👤 harish-gaggar User 🕐 Mis à jour 2026-10-03 📅 Créé 2026-08-17
95
yfzhang114/Thyme

✨✨ [ICLR 2026] Pensez au-delà des images

yfzhang114
⭐ 585 Python 👤 yfzhang114 User 🕐 Mis à jour 2025-09-23 📅 Créé 2025-08-17
96
General-Analysis/GA

Une encyclopédie des techniques de jailbreaking pour rendre les modèles d'IA plus sûrs.

General-Analysis
⭐ 583 Jupyter Notebook 👤 General-Analysis Organization 🕐 Mis à jour 2025-05-26 📅 Créé 2025-01-18
98
juanjuandog/FinSight-AI

Agent d’analyse financière des actions propulsé par l’IA, avec des flux de travail résilients, un système RAG fondé sur les preuves, des rapports versionnés et une évaluation automatisée de la qualité.

juanjuandog
⭐ 562 Java 👤 juanjuandog User 🕐 Mis à jour 2026-09-02 📅 Créé 2026-05-11
100
RUCAIBox/HaluEval

Ceci est le dépôt de HaluEval, une référence d'évaluation d'hallucinations à grande échelle pour les grands modèles linguistiques.

RUCAIBox
⭐ 540 Python 👤 RUCAIBox Organization 🕐 Mis à jour 2024-02-12 📅 Créé 2023-05-18