Git Stars Git Stars

#evaluation Dépôts

Découvrez 89 dépôts GitHub open source actifs associés à #evaluation, cumulant 369,872 étoiles au total (soit une moyenne de 4,155 étoiles par projet). Le projet en tête de ce thème est lm-sys/FastChat, avec 39,550 étoiles.

89
Total des Dépôts
369,872
Nombre total d'étoiles
4,155
Moyenne d'Étoiles/Dépôt
1
lm-sys/FastChat

Une plateforme ouverte pour l'entraînement, le déploiement et l'évaluation de grands modèles linguistiques. Dépôt de publication pour Vicuna et Chatbot Arena.

lm-sys
⭐ 39,550 Python 👤 lm-sys Organization 🕐 Mis à jour 2026-05-01 📅 Créé 2023-03-19
2
Tencent/WeKnora

Plateforme open-source de connaissances LLM : transformez des documents bruts en RAG interrogable, un agent de raisonnement autonome et un Wiki auto-maintenu.

Tencent
⭐ 37,938 Go 👤 Tencent Organization 🕐 Mis à jour 2026-11-21 📅 Créé 2025-07-22
3
langfuse/langfuse

🪢 Plateforme d’ingénierie IA open source : passerelle IA, observabilité des agents, évaluations et gestion des prompts et des compétences, basée sur OpenTelemetry. Une plateforme ouverte pour chaque appel IA et chaque agent. Hébergez-la vous-même ou utilisez Langfuse Cloud.

langfuse
⭐ 37,696 TypeScript 👤 langfuse Organization 🕐 Mis à jour 2026-11-21 📅 Créé 2023-05-18
4
mlflow/mlflow

La plateforme d'ingénierie IA open source pour les agents, les LLM et les modèles ML. MLflow permet aux équipes de toutes tailles de déboguer, évaluer, surveiller et optimiser des applications IA de qualité production tout en contrôlant les coûts et en gérant l'accès aux modèles et aux données.

mlflow
⭐ 28,920 Python 👤 mlflow Organization 🕐 Mis à jour 2026-11-21 📅 Créé 2018-06-05
5
promptfoo/promptfoo

Testez vos prompts, agents et RAG. Red teaming/pentesting/analyse de vulnérabilités pour l'IA. Comparez les performances de GPT, Claude, Gemini, DeepSeek et plus encore. Configurations déclaratives simples avec intégration en ligne de commande et CI/CD. Utilisé par OpenAI et Anthropic.

promptfoo
⭐ 27,516 TypeScript 👤 promptfoo Organization 🕐 Mis à jour 2026-11-21 📅 Créé 2023-04-28
6
comet-ml/opik

Déboguez, évaluez et surveillez vos applications LLM, vos systèmes RAG et vos flux de travail d'agents avec un traçage complet, des évaluations automatisées et des tableaux de bord prêts pour la production.

comet-ml
⭐ 23,479 Java 👤 comet-ml Organization 🕐 Mis à jour 2026-11-21 📅 Créé 2023-05-10
7
vibrantlabsai/ragas

Suralimentez vos évaluations d'applications LLM 🚀

vibrantlabsai
⭐ 16,395 Python 👤 vibrantlabsai Organization 🕐 Mis à jour 2026-11-14 📅 Créé 2023-05-08
8
open-compass/opencompass

OpenCompass est une plateforme d’évaluation des grands modèles de langage (LLM) prenant en charge un large éventail de modèles d’OpenAI, Anthropic, Gemini, Qwen, GLM, DeepSeek, etc., sur plus de 100 jeux de données couvrant les connaissances, le raisonnement, la programmation, les sciences, le langage, les contextes longs et la sécurité.

open-compass
⭐ 7,610 Python 👤 open-compass Organization 🕐 Mis à jour 2026-11-18 📅 Créé 2023-06-15
9
alchaincyf/darwin-skill

达尔文.skill —— Un système qui fait évoluer vos Skills à l'infini : évaluation → amélioration → test → conservation ou rollback | Optimisation autonome des skills inspirée d'Autoresearch pour Claude Code. Évaluer, améliorer, tester, conserver ou réverter.

alchaincyf
⭐ 7,015 HTML 👤 alchaincyf User 🕐 Mis à jour 2026-11-18 📅 Créé 2026-04-13
10
Helicone/helicone

🧊 Plateforme d'observabilité LLM open source. Une ligne de code pour surveiller, évaluer et expérimenter. YC W23 🍓

Helicone
⭐ 6,292 TypeScript 👤 Helicone Organization 🕐 Mis à jour 2026-11-17 📅 Créé 2023-01-31
11
coze-dev/coze-loop

Plateforme d'optimisation d'agents IA de nouvelle génération : Cozeloop aborde les défis du développement d'agents IA en fournissant des capacités de gestion tout au long du cycle de vie, du développement, du débogage et de l'évaluation à la surveillance.

coze-dev
⭐ 5,799 Go 👤 coze-dev Organization 🕐 Mis à jour 2026-11-17 📅 Créé 2025-06-24
12
Kiln-AI/Kiln

Construire, évaluer et optimiser les systèmes d'IA. Cela comprend les évaluations (evals), le RAG, les agents, l'ajustement précis (fine-tuning), la génération de données synthétiques, la gestion des ensembles de données, le MCP, et plus encore.

Kiln-AI
⭐ 5,286 Python 👤 Kiln-AI Organization 🕐 Mis à jour 2026-11-21 📅 Créé 2024-07-23
13
langwatch/langwatch

Observabilité et évaluation open source des agents pour les équipes de plateformes d’IA. Tracez, testez, acheminez et gouvernez chaque agent et assistant de programmation de l’entreprise.

langwatch
⭐ 5,050 TypeScript 👤 langwatch Organization 🕐 Mis à jour 2026-11-21 📅 Créé 2023-09-09
14
EvolvingLMMs-Lab/lmms-eval

Boîte à outils d'évaluation multimodale One-for-All pour les tâches textuelles, d'images, de vidéos et audio

EvolvingLMMs-Lab
⭐ 4,501 Python 👤 EvolvingLMMs-Lab Organization 🕐 Mis à jour 2026-11-20 📅 Créé 2024-03-07
15
open-compass/VLMEvalKit

Boîte à outils d'évaluation open-source pour les grands modèles multimodaux (LMM), prend en charge plus de 220 LMM et plus de 80 benchmarks

open-compass
⭐ 4,499 Python 👤 open-compass Organization 🕐 Mis à jour 2026-11-19 📅 Créé 2023-12-01
16
MichaelGrupp/evo

Paquet Python pour l'évaluation de l'odométrie et du SLAM

MichaelGrupp
⭐ 4,367 Python 👤 MichaelGrupp User 🕐 Mis à jour 2026-11-15 📅 Créé 2017-09-13
17
NVIDIA/SkillEvaluator

Cadre multiniveau pour évaluer les compétences et les extensions des agents d’IA, avec des contrôles qualité, une analyse de sécurité, des vérifications de compatibilité avec le harnais de test, la détection des chevauchements sémantiques, la génération de jeux de données synthétiques d’évaluation et l’évaluation en direct des agents, qui mesure l’effet des compétences sur leur comportement. Fournit des modèles CI réutilisables qui permettent d’intégrer toutes les vérifications à n’importe quel dépôt.

NVIDIA
⭐ 4,300 Python 👤 NVIDIA Organization 🕐 Mis à jour 2026-11-21 📅 Créé 2026-06-24
18
modelscope/evalscope

Un framework rationalisé et personnalisable pour l'évaluation efficace et le benchmarking des performances des grands modèles (LLM, VLM, AIGC).

modelscope
⭐ 3,715 Python 👤 modelscope Organization 🕐 Mis à jour 2026-11-20 📅 Créé 2023-12-07
19
embeddings-benchmark/mteb

MTEB : Évaluation de pointe des embeddings à travers les langues et les modalités

embeddings-benchmark
⭐ 3,519 Python 👤 embeddings-benchmark Organization 🕐 Mis à jour 2026-11-21 📅 Créé 2022-04-05
20
lmnr-ai/lmnr

Laminar – plateforme d'observabilité open source conçue spécifiquement pour les agents IA. YC S24.

lmnr-ai
⭐ 3,516 TypeScript 👤 lmnr-ai Organization 🕐 Mis à jour 2026-11-20 📅 Créé 2024-08-29
21
CLUEbenchmark/SuperCLUE

SuperCLUE : Référence globale pour les grands modèles chinois | Une référence pour les modèles fondamentaux en chinois

CLUEbenchmark
⭐ 3,308 👤 CLUEbenchmark Organization 🕐 Mis à jour 2026-02-06 📅 Créé 2023-05-02
22
viebel/klipse

Klipse est un plugin JavaScript pour intégrer des extraits de code interactifs dans des blogs techniques.

viebel
⭐ 3,134 HTML 👤 viebel User 🕐 Mis à jour 2024-10-01 📅 Créé 2015-11-19
23
ianarawjo/ChainForge

Un environnement de programmation visuelle open-source pour tester les invites des LLM.

ianarawjo
⭐ 3,044 TypeScript 👤 ianarawjo User 🕐 Mis à jour 2026-10-29 📅 Créé 2023-03-26
24
microsoft/promptbench

Un cadre d'évaluation unifié pour les grands modèles linguistiques

microsoft
⭐ 2,786 Python 👤 microsoft Organization 🕐 Mis à jour 2026-02-20 📅 Créé 2023-06-13
25
yaojingang/yao-meta-skill

YAO = Obtenir des Résultats d'IA. Un système rigoureux d'ingénierie, d'évaluation, de gouvernance et de portabilité pour des compétences d'agent réutilisables.

yaojingang
⭐ 2,739 Python 👤 yaojingang User 🕐 Mis à jour 2026-11-09 📅 Créé 2026-03-31
26
huggingface/lighteval

Lighteval est votre boîte à outils tout-en-un pour évaluer les LLM sur plusieurs backends

huggingface
⭐ 2,587 Python 👤 huggingface Organization 🕐 Mis à jour 2026-11-18 📅 Créé 2024-01-26
27
huggingface/evaluate

🤗 Evaluate : Une bibliothèque pour évaluer facilement les modèles et les ensembles de données d'apprentissage automatique.

huggingface
⭐ 2,498 Python 👤 huggingface Organization 🕐 Mis à jour 2026-11-16 📅 Créé 2022-03-30
28
1517005260/graph-rag-agent

RAG assemblé : GraphRAG, LightRAG et Neo4j-llm-graph-builder assemblés et fusionnés manuellement pour la construction et la recherche de graphes de connaissances ; DeepSearch intégré pour le raisonnement RAG de domaine privé ; un cadre d'évaluation personnalisé pour GraphRAG créé en interne.

1517005260
⭐ 2,355 Python 👤 1517005260 User 🕐 Mis à jour 2025-11-05 📅 Créé 2025-02-12
29
uptrain-ai/uptrain

UpTrain est une plateforme unifiée open-source pour évaluer et améliorer les applications d'IA générative. Nous fournissons des notes pour plus de 20 contrôles préconfigurés (couvrant les cas d'utilisation du langage, du code et des embeddings), effectuons une analyse des causes profondes des cas d'échec et donnons des aperçus sur la façon de les résoudre.

uptrain-ai
⭐ 2,337 Python 👤 uptrain-ai Organization 🕐 Mis à jour 2024-08-18 📅 Créé 2022-11-07
30
MCPJam/inspector

Plateforme de test et d'évaluation pour discuter, inspecter et déboguer les serveurs MCP, les applications MCP et les applications ChatGPT.

MCPJam
⭐ 2,331 TypeScript 👤 MCPJam Organization 🕐 Mis à jour 2026-11-21 📅 Créé 2025-05-23
31
Sahir619/fable-method

Le workflow Fable : comment Claude Fable 5 a fonctionné, distillé en compétences que tout modèle peut exécuter, avec l'évaluation qui le maintient honnête. Pensez / agissez / prouvez.

Sahir619
⭐ 2,324 Python 👤 Sahir619 User 🕐 Mis à jour 2026-10-03 📅 Créé 2026-07-06
32
Xnhyacinth/Awesome-LLM-Long-Context-Modeling

📰 Articles et blogs incontournables sur la modélisation de contexte long basée sur les LLM 🔥

Xnhyacinth
⭐ 2,191 👤 Xnhyacinth User 🕐 Mis à jour 2026-11-13 📅 Créé 2023-09-17
33
huggingface/evaluation-guidebook

Partage d'informations pratiques et de connaissances théoriques sur l'évaluation des LLM que nous avons recueillies tout en gérant le Open LLM Leaderboard et en concevant lighteval !

huggingface
⭐ 2,166 Jupyter Notebook 👤 huggingface Organization 🕐 Mis à jour 2025-12-03 📅 Créé 2024-10-09
34
ContinualAI/avalanche

Avalanche : une bibliothèque de bout en bout pour l'apprentissage continu basée sur PyTorch.

ContinualAI
⭐ 2,054 Python 👤 ContinualAI Organization 🕐 Mis à jour 2025-03-11 📅 Créé 2020-03-05
35
Cloud-CV/EvalAI

:cloud: :rocket: :bar_chart: :chart_with_upwards_trend: Évaluation de l'état de l'art en IA

Cloud-CV
⭐ 2,049 Python 👤 Cloud-CV Organization 🕐 Mis à jour 2026-11-14 📅 Créé 2016-10-21
36
tatsu-lab/alpaca_eval

Un évaluateur automatique pour les modèles de langage qui suivent les instructions. Validé par l'homme, de haute qualité, peu coûteux et rapide.

tatsu-lab
⭐ 2,010 Jupyter Notebook 👤 tatsu-lab Organization 🕐 Mis à jour 2025-08-09 📅 Créé 2023-05-25
37
trpc-group/trpc-agent-go

Un framework Go pour construire des systèmes d'agents en production avec des flux de travail graphiques, des outils, de la mémoire, A2A, AG-UI, MCP, l'évaluation et l'observabilité.

trpc-group
⭐ 1,940 Go 👤 trpc-group Organization 🕐 Mis à jour 2026-11-21 📅 Créé 2025-05-14
38
xinshuoweng/AB3DMOT

(IROS 2020, ECCVW 2020) Implémentation officielle en Python pour «3D Multi-Object Tracking : A Baseline and New Evaluation Metrics»

xinshuoweng
⭐ 1,805 Python 👤 xinshuoweng User 🕐 Mis à jour 2024-04-03 📅 Créé 2019-06-19
39
onestardao/WFGY

WFGY se dirige vers WFGY 5.0 Polaris Protocol, une importante version open-source pour le raisonnement IA, RAG, agents et flux de travail du monde réel. Inclut Problem Map, Global Debug Card, WFGY 4.0 et l'œuf de Pâques CFV.

onestardao
⭐ 1,804 Jupyter Notebook 👤 onestardao User 🕐 Mis à jour 2026-11-21 📅 Créé 2025-06-04
40
SmartFlowAI/EmoLLM

Modèles de santé mentale (LLM x Santé Mentale), Pré et Post-formation & Jeu de données & Évaluation & Déploiement & RAG, avec les modèles des séries InternLM / Qwen / Baichuan / DeepSeek / Mixtral / LLama / GLM

SmartFlowAI
⭐ 1,797 Python 👤 SmartFlowAI Organization 🕐 Mis à jour 2026-06-18 📅 Créé 2024-01-11
41
deepsense-ai/ragbits

Briques de base pour le développement rapide d'applications GenAI

deepsense-ai
⭐ 1,678 Python 👤 deepsense-ai Organization 🕐 Mis à jour 2026-05-18 📅 Créé 2024-09-02
42
MLGroupJLU/LLM-eval-survey

La page officielle GitHub du document de synthèse "A Survey on Evaluation of Large Language Models".

MLGroupJLU
⭐ 1,615 👤 MLGroupJLU User 🕐 Mis à jour 2026-11-18 📅 Créé 2023-07-02
43
sepandhaghighi/pycm

Bibliothèque de matrice de confusion multi-classe en Python

sepandhaghighi
⭐ 1,507 Python 👤 sepandhaghighi User 🕐 Mis à jour 2026-11-16 📅 Créé 2018-01-22
44
Maluuba/nlg-eval

Code d'évaluation pour diverses métriques automatisées non supervisées pour la Génération de Langage Naturel.

Maluuba
⭐ 1,391 Python 👤 Maluuba Organization 🕐 Mis à jour 2024-08-20 📅 Créé 2017-06-27
45
NVIDIA-NeMo/Gym

Évaluer et améliorer les modèles et les agents en utilisant des environnements

NVIDIA-NeMo
⭐ 1,347 Python 👤 NVIDIA-NeMo Organization 🕐 Mis à jour 2026-11-21 📅 Créé 2025-08-25
46
ScalingIntelligence/KernelBench

KernelBench : Les LLM peuvent-ils écrire des noyaux GPU ? - Benchmark + Toolkit avec Torch -> CUDA (+ autres DSL)

ScalingIntelligence
⭐ 1,336 Jupyter Notebook 👤 ScalingIntelligence Organization 🕐 Mis à jour 2026-03-24 📅 Créé 2024-10-25
47
TIGER-AI-Lab/ClawBench

Benchmark open-source pour les agents IA de navigateur sur des tâches quotidiennes.

TIGER-AI-Lab
⭐ 1,325 Python 👤 TIGER-AI-Lab Organization 🕐 Mis à jour 2026-11-05 📅 Créé 2026-04-10
48
abo-abo/lispy

Édition LISP courte et concise

abo-abo
⭐ 1,297 Emacs Lisp 👤 abo-abo User 🕐 Mis à jour 2026-01-23 📅 Créé 2014-01-10
49
EthicalML/xai

XAI - Une boîte à outils d'eXplicabilité pour l'apprentissage automatique

EthicalML
⭐ 1,270 Python 👤 EthicalML Organization 🕐 Mis à jour 2025-11-29 📅 Créé 2019-01-11
50
plurai-ai/intellagent

Un cadre pour le diagnostic complet et l'optimisation d'agents utilisant des interactions synthétiques réalistes et simulées

plurai-ai
⭐ 1,266 Python 👤 plurai-ai Organization 🕐 Mis à jour 2026-09-14 📅 Créé 2024-10-28

Foire aux questions

1

Quel est le dépôt #evaluation le plus populaire sur GitHub ?

Le projet #evaluation open source le mieux classé sur GitHub est lm-sys/FastChat, avec 39,550 étoiles. Une plateforme ouverte pour l'entraînement, le déploiement et l'évaluation de grands modèles linguistiques. Dépôt de publication pour Vicuna et Chatbot Arena.

2

Quels langages de programmation sont les plus utilisés dans les dépôts #evaluation ?

Parmi les projets #evaluation les mieux classés sur GitHub, les langages de programmation les plus courants sont Python, TypeScript, Jupyter Notebook, Go.

3

Comment le classement des dépôts #evaluation est-il calculé ?

Nous suivons 89 dépôts open source actifs associés à #evaluation (500+ étoiles), totalisant 369,872 étoiles, avec une moyenne de 4,155 étoiles par dépôt. Les classements sont mis à jour quotidiennement à partir de l’API GitHub.