Git Stars Git Stars

#llm-evaluation Dépôts

Découvrez 108 dépôts GitHub open source actifs associés à #llm-evaluation, cumulant 444,825 étoiles au total (soit une moyenne de 4,118 étoiles par projet). Le projet en tête de ce thème est ifixai-ai/iFixAi, avec 46,592 étoiles.

108
Total des Dépôts
444,825
Nombre total d'étoiles
4,118
Moyenne d'Étoiles/Dépôt
1
ifixai-ai/iFixAi

Audit indépendant des agents IA. Exécuté par un humain ou par l'agent lui-même, pour répondre à la question la plus cruciale de l'économie des agents IA : l'agent fait-il ce qu'il est censé faire ? Avec iFixAi, vous pouvez obtenir cette réponse en moins de 120 secondes.

ifixai-ai
⭐ 46,592 Python 👤 ifixai-ai Organization 🕐 Mis à jour 2026-11-20 📅 Créé 2026-04-27
2
langfuse/langfuse

🪢 Plateforme d’ingénierie IA open source : passerelle IA, observabilité des agents, évaluations et gestion des prompts et des compétences, basée sur OpenTelemetry. Une plateforme ouverte pour chaque appel IA et chaque agent. Hébergez-la vous-même ou utilisez Langfuse Cloud.

langfuse
⭐ 37,696 TypeScript 👤 langfuse Organization 🕐 Mis à jour 2026-11-21 📅 Créé 2023-05-18
3
mlflow/mlflow

La plateforme d'ingénierie IA open source pour les agents, les LLM et les modèles ML. MLflow permet aux équipes de toutes tailles de déboguer, évaluer, surveiller et optimiser des applications IA de qualité production tout en contrôlant les coûts et en gérant l'accès aux modèles et aux données.

mlflow
⭐ 28,920 Python 👤 mlflow Organization 🕐 Mis à jour 2026-11-21 📅 Créé 2018-06-05
4
promptfoo/promptfoo

Testez vos prompts, agents et RAG. Red teaming/pentesting/analyse de vulnérabilités pour l'IA. Comparez les performances de GPT, Claude, Gemini, DeepSeek et plus encore. Configurations déclaratives simples avec intégration en ligne de commande et CI/CD. Utilisé par OpenAI et Anthropic.

promptfoo
⭐ 27,516 TypeScript 👤 promptfoo Organization 🕐 Mis à jour 2026-11-21 📅 Créé 2023-04-28
5
huggingface/open-r1

Reproduction complète de DeepSeek-R1

huggingface
⭐ 26,483 Python 👤 huggingface Organization 🕐 Mis à jour 2026-10-26 📅 Créé 2025-01-24
6
comet-ml/opik

Déboguez, évaluez et surveillez vos applications LLM, vos systèmes RAG et vos flux de travail d'agents avec un traçage complet, des évaluations automatisées et des tableaux de bord prêts pour la production.

comet-ml
⭐ 23,479 Java 👤 comet-ml Organization 🕐 Mis à jour 2026-11-21 📅 Créé 2023-05-10
7
openai/evals

Evals est un framework pour l'évaluation des LLM et des systèmes LLM, et un registre open-source de benchmarks.

openai
⭐ 19,776 Python 👤 openai Organization 🕐 Mis à jour 2026-04-14 📅 Créé 2023-01-23
8
confident-ai/deepeval

Le cadre d'évaluation LLM

confident-ai
⭐ 19,585 Python 👤 confident-ai Organization 🕐 Mis à jour 2026-11-19 📅 Créé 2023-08-10
9
Arize-ai/phoenix

Observabilité et Évaluation de l'IA

Arize-ai
⭐ 12,368 Python 👤 Arize-ai Organization 🕐 Mis à jour 2026-11-21 📅 Créé 2022-11-09
10
NVIDIA/garak

le scanner de vulnérabilités LLM

NVIDIA
⭐ 10,122 Python 👤 NVIDIA Organization 🕐 Mis à jour 2026-11-18 📅 Créé 2023-05-10
11
oumi-ai/oumi

Affinez facilement (SFT/RL), évaluez et déployez Qwen, Gemma ou tout LLM/VLM agentique open source !

oumi-ai
⭐ 9,441 Python 👤 oumi-ai Organization 🕐 Mis à jour 2026-11-21 📅 Créé 2024-05-07
12
HKUDS/ClawWork

"ClawWork : OpenClaw en tant que collègue IA - 💰 15 000 $ gagnés en 11 heures"

HKUDS
⭐ 8,574 Python 👤 HKUDS Organization 🕐 Mis à jour 2026-03-03 📅 Créé 2026-02-15
13
Tencent/AI-Infra-Guard

Une plateforme complète de Red Teaming de l’IA qui sécurise les écosystèmes d’IA grâce à Agent Scan, Skills Scan, MCP Scan, AI Infra Scan et à l’évaluation des jailbreaks des LLM.

Tencent
⭐ 7,604 Python 👤 Tencent Organization 🕐 Mis à jour 2026-11-20 📅 Créé 2024-12-25
14
gepa-ai/gepa

Optimisez les invites, le code et plus encore grâce à l'optimisation réflexive alimentée par l'IA

gepa-ai
⭐ 7,523 Jupyter Notebook 👤 gepa-ai Organization 🕐 Mis à jour 2026-11-21 📅 Créé 2025-08-05
15
gkamradt/langchain-tutorials

Présentation et tutoriel de la bibliothèque LangChain

gkamradt
⭐ 7,350 Jupyter Notebook 👤 gkamradt User 🕐 Mis à jour 2024-08-05 📅 Créé 2023-02-13
16
simplescaling/s1

s1: Mise à l'échelle simple au moment de l'exécution

simplescaling
⭐ 6,656 Python 👤 simplescaling Organization 🕐 Mis à jour 2025-06-25 📅 Créé 2025-02-01
17
jeinlee1991/chinese-llm-benchmark

NoneLinear - Évaluation ReLE : Évaluation des capacités des modèles d'IA en chinois (mise à jour continue) : Inclut actuellement 374 modèles, couvrant des modèles commerciaux tels que ChatGPT, GPT-5.4, Google Gemini-3.1-pro, Claude-4.6, Ernie-X1.1, Ernie-5.0, Qwen3.6-max, Qwen3.6-plus, Baichuan, iFlytek Spark, SenseChat, ainsi que des modèles open source comme Step3.5-flash, Kimi-k2.6, Ernie4.5, MiniMax-M2.7, DeepSeek-v4, Qwen3.6, Llama4, Zhipu GLM-5.1, MiMo-V2, LongCat, Gemma4, Mistral, etc. Il ne fournit pas seulement un classement, mais aussi une base de données de défauts de modèles comptant plus de 2 millions d'entrées, facilitant la recherche, l'analyse et l'amélioration des grands modèles pour la communauté.

jeinlee1991
⭐ 6,522 👤 jeinlee1991 User 🕐 Mis à jour 2026-11-20 📅 Créé 2023-06-04
18
Q00/ouroboros

Agent OS : l’agent devient plus intelligent de lui-même. Nous nous contentons de maintenir la ligne : sélection par entretien, évaluation par étapes et boucle d’évolution budgétée. Serveur MCP, 14 environnements d’exécution : Claude Code, Codex CLI, Gemini CLI, OpenCode, Copilot, Kiro et bien plus.

Q00
⭐ 6,385 Python 👤 Q00 User 🕐 Mis à jour 2026-11-21 📅 Créé 2026-01-14
19
Helicone/helicone

🧊 Plateforme d'observabilité LLM open source. Une ligne de code pour surveiller, évaluer et expérimenter. YC W23 🍓

Helicone
⭐ 6,292 TypeScript 👤 Helicone Organization 🕐 Mis à jour 2026-11-17 📅 Créé 2023-01-31
20
Giskard-AI/giskard-oss

🐢 Bibliothèque open-source d'évaluation et de test pour les agents LLM

Giskard-AI
⭐ 5,965 Python 👤 Giskard-AI Organization 🕐 Mis à jour 2026-11-20 📅 Créé 2022-03-06
21
PacktPublishing/LLM-Engineers-Handbook

Le guide pratique des LLM : Des bases au déploiement d'applications LLM et RAG avancées sur AWS en utilisant les meilleures pratiques LLMOps

PacktPublishing
⭐ 5,438 Python 👤 PacktPublishing Organization 🕐 Mis à jour 2026-04-22 📅 Créé 2024-04-09
22
going-doer/Paper2Code

Paper2Code : Automatisation de la génération de code à partir d'articles scientifiques en apprentissage automatique

going-doer
⭐ 5,044 Python 👤 going-doer User 🕐 Mis à jour 2026-03-25 📅 Créé 2025-04-25
23
EvolvingLMMs-Lab/lmms-eval

Boîte à outils d'évaluation multimodale One-for-All pour les tâches textuelles, d'images, de vidéos et audio

EvolvingLMMs-Lab
⭐ 4,501 Python 👤 EvolvingLMMs-Lab Organization 🕐 Mis à jour 2026-11-20 📅 Créé 2024-03-07
24
hemansnation/AI-Engineer-Headquarters

Une collection de méthodes scientifiques, de processus, d'algorithmes et de systèmes pour construire des histoires et des modèles.

hemansnation
⭐ 3,782 Jupyter Notebook 👤 hemansnation User 🕐 Mis à jour 2026-10-28 📅 Créé 2022-03-29
25
truera/trulens

Évaluation et suivi des expériences LLM et des agents IA

truera
⭐ 3,665 Python 👤 truera Organization 🕐 Mis à jour 2026-11-20 📅 Créé 2020-11-02
26
lmnr-ai/lmnr

Laminar – plateforme d'observabilité open source conçue spécifiquement pour les agents IA. YC S24.

lmnr-ai
⭐ 3,516 TypeScript 👤 lmnr-ai Organization 🕐 Mis à jour 2026-11-20 📅 Créé 2024-08-29
27
openai/human-eval

Code pour l'article "Evaluating Large Language Models Trained on Code"

openai
⭐ 3,431 Python 👤 openai Organization 🕐 Mis à jour 2026-10-16 📅 Créé 2021-07-06
28
Sumanth077/ai-engineering-toolkit

Une liste organisée de plus de 100 bibliothèques et frameworks pour les ingénieurs IA construisant avec des LLM

Sumanth077
⭐ 3,402 👤 Sumanth077 User 🕐 Mis à jour 2026-05-11 📅 Créé 2025-08-06
29
UKGovernmentBEIS/inspect_ai

Inspect : Un framework pour l'évaluation des grands modèles de langage

UKGovernmentBEIS
⭐ 3,302 Python 👤 UKGovernmentBEIS Organization 🕐 Mis à jour 2026-11-20 📅 Créé 2023-11-14
30
FranxYao/chain-of-thought-hub

Évaluation comparative de la capacité de raisonnement complexe des grands modèles linguistiques avec l'incitation en chaîne de pensée

FranxYao
⭐ 2,762 Jupyter Notebook 👤 FranxYao User 🕐 Mis à jour 2024-08-04 📅 Créé 2023-03-10
31
genieincodebottle/generative-ai

Ressources complètes sur l'IA générative, y compris une feuille de route détaillée, des projets, des cas d'utilisation, la préparation aux entretiens et la préparation au codage.

genieincodebottle
⭐ 2,675 Jupyter Notebook 👤 genieincodebottle User 🕐 Mis à jour 2026-11-09 📅 Créé 2024-01-09
32
gkamradt/needle-in-a-haystack

Effectuer une récupération simple à partir de modèles LLM à différentes longueurs de contexte pour mesurer la précision

gkamradt
⭐ 2,408 Jupyter Notebook 👤 gkamradt User 🕐 Mis à jour 2026-06-08 📅 Créé 2023-11-11
33
future-agi/future-agi

Plateforme open source de bout en bout pour évaluer, observer et améliorer les applications LLM et agents IA. Tracing · Evals · Simulations · Datasets · Gateway · Guardrails. Auto-hébergeable. Apache 2.0.

future-agi
⭐ 2,284 Python 👤 future-agi Organization 🕐 Mis à jour 2026-11-21 📅 Créé 2026-04-23
34
break-into-data/ai-engineer-toolkit

Projets et ressources pour vous aider à devenir un meilleur développeur IA.

break-into-data
⭐ 2,189 TypeScript 👤 break-into-data Organization 🕐 Mis à jour 2025-09-15 📅 Créé 2025-02-24
36
msoedov/agentic_security

Scanner de vulnérabilités LLM agentique / Kit de red teaming IA 🧪

msoedov
⭐ 2,048 Python 👤 msoedov User 🕐 Mis à jour 2026-11-19 📅 Créé 2024-04-11
37
ai-that-works/ai-that-works

🦄 l'IA qui fonctionne - tous les mardis à 10h PST

ai-that-works
⭐ 2,016 TypeScript 👤 ai-that-works Organization 🕐 Mis à jour 2026-11-19 📅 Créé 2025-04-02
39
centerforaisafety/hle

Le dernier examen de l'humanité

centerforaisafety
⭐ 1,749 Python 👤 centerforaisafety Organization 🕐 Mis à jour 2026-09-23 📅 Créé 2025-01-23
41
lizhe2004/Awesome-LLM-RAG-Application

les ressources sur l'application basée sur LLM avec le modèle RAG

lizhe2004
⭐ 1,662 👤 lizhe2004 User 🕐 Mis à jour 2026-10-12 📅 Créé 2023-12-27
42
huggingface/aisheets

Créez, enrichissez et transformez des jeux de données à l'aide de modèles d'IA sans code

huggingface
⭐ 1,656 TypeScript 👤 huggingface Organization 🕐 Mis à jour 2026-09-23 📅 Créé 2025-01-16
43
cyberark/FuzzyAI

Un outil puissant pour le fuzzing automatisé des LLM. Il est conçu pour aider les développeurs et les chercheurs en sécurité à identifier et à atténuer les jailbreaks potentiels dans leurs API LLM.

cyberark
⭐ 1,611 Jupyter Notebook 👤 cyberark Organization 🕐 Mis à jour 2026-02-06 📅 Créé 2024-12-03
44
sierra-research/tau-bench

Code et données pour Tau-Bench

sierra-research
⭐ 1,514 Python 👤 sierra-research Organization 🕐 Mis à jour 2026-03-18 📅 Créé 2024-06-06
45
safety-research/bloom

bloom - évaluez tout comportement immédiatement 🌸🌱

safety-research
⭐ 1,429 Python 👤 safety-research Organization 🕐 Mis à jour 2026-05-07 📅 Créé 2025-06-24
47
meridianlabs-ai/inspect_petri

Un agent d'audit d'alignement capable d'explorer rapidement des hypothèses d'alignement

meridianlabs-ai
⭐ 1,421 Python 👤 meridianlabs-ai Organization 🕐 Mis à jour 2026-11-20 📅 Créé 2025-08-19
48
TIGER-AI-Lab/ClawBench

Benchmark open-source pour les agents IA de navigateur sur des tâches quotidiennes.

TIGER-AI-Lab
⭐ 1,325 Python 👤 TIGER-AI-Lab Organization 🕐 Mis à jour 2026-11-05 📅 Créé 2026-04-10
49
microsoft/prompty

Prompty facilite la création, la gestion, le débogage et l'évaluation des invites LLM pour vos applications d'IA. Prompty est une classe d'actifs et un format pour les invites LLM conçus pour améliorer l'observabilité, la compréhensibilité et la portabilité pour les développeurs.

microsoft
⭐ 1,288 Rust 👤 microsoft Organization 🕐 Mis à jour 2026-11-09 📅 Créé 2024-04-22
50
langchain-ai/openevals

Évaluateurs prêts à l'emploi pour vos applications LLM

langchain-ai
⭐ 1,259 Python 👤 langchain-ai Organization 🕐 Mis à jour 2026-11-18 📅 Créé 2025-02-08

Foire aux questions

1

Quel est le dépôt #llm-evaluation le plus populaire sur GitHub ?

Le projet #llm-evaluation open source le mieux classé sur GitHub est ifixai-ai/iFixAi, avec 46,592 étoiles. Audit indépendant des agents IA. Exécuté par un humain ou par l'agent lui-même, pour répondre à la question la plus cruciale de l'économie des agents IA : l'agent fait-il ce qu'il est censé faire ? Avec iFixAi, vous pouvez obtenir cette réponse en moins de 120 secondes.

2

Quels langages de programmation sont les plus utilisés dans les dépôts #llm-evaluation ?

Parmi les projets #llm-evaluation les mieux classés sur GitHub, les langages de programmation les plus courants sont Python, Jupyter Notebook, TypeScript, Java.

3

Comment le classement des dépôts #llm-evaluation est-il calculé ?

Nous suivons 108 dépôts open source actifs associés à #llm-evaluation (500+ étoiles), totalisant 444,825 étoiles, avec une moyenne de 4,118 étoiles par dépôt. Les classements sont mis à jour quotidiennement à partir de l’API GitHub.