#llm-evaluation Dépôts
108 dépôts au total
Un environnement non saturant et ouvert pour l'évaluation des LLM dans Factorio
[JMLR 2026] UQLM : un package Python pour détecter les hallucinations des grands modèles de langage à l’aide de la quantification de l’incertitude
Une collection de notebooks/recettes présentant des cas d'utilisation de modèles open-source avec Together AI.
Weave est une boîte à outils pour le développement d'applications alimentées par l'IA, construite par Weights & Biases.
Un benchmark de décision clinique fondé sur les preuves : extraire le seul fait sur lequel repose une réponse et vérifier si l’action de l’assistant évolue en fonction des preuves. Construit à partir de HealthBench.
CI/CD natif des traces pour les agents d’IA — les incidents en production deviennent des tests de régression qui bloquent la PR. Détection et regroupement automatiques, figés en cas hermétiques, puis rejoués dans la CI pour 0 $.
AutoEvals est un outil permettant d'évaluer rapidement et facilement les sorties des modèles d'IA en utilisant les meilleures pratiques.
OrcaReplay — Voyage dans le temps pour les agents d’IA. Enregistrez, rejouez, bifurquez et déboguez n’importe quelle exécution d’agent avec n’importe quel modèle. Créé par l’équipe d’OrcaRouter.ai.
La pile d'amélioration continue pour les agents. Nos données d'environnement et nos évaluations alimentent l'amélioration et la surveillance des agents.
LLMPerf est une bibliothèque pour la validation et la mise en benchmark des LLM
Une bibliothèque organisée et sans fioritures des meilleures ressources pour construire et évaluer des agents d'IA — articles, blogs, conférences, outils, benchmarks. Maintenue par BenchFlow.
Expériences avec des modèles locaux ainsi qu'avec des modèles disponibles via une API
FactCircuit : une boucle auditable de vérification des affirmations et des preuves, avec une provenance immuable, des contrôles par étapes, une récupération limitée et une évaluation reproductible.
[ICLR 2025 Oral] Spider 2.0 : Évaluation des modèles linguistiques sur des flux de travail Text-to-SQL réels en entreprise
CI/CD natif des traces pour les agents d’IA : évaluez les traces de production, regroupez les échecs, transformez-les en tests de régression rejouables et bloquez les PR qui introduisent des régressions. Peut être hébergé sur vos propres serveurs.
Un exécuteur de tests pour les compétences d'agents IA de style agentskills.io
Les articles sont organisés selon notre étude : Evaluating Large Language Models: A Comprehensive Survey.
GAOKAO-Bench est un cadre d'évaluation qui utilise les questions GAOKAO comme ensemble de données pour évaluer les grands modèles linguistiques.
Infrastructure open source qui transforme des fichiers SKILL.md dispersés en corpus de compétences d’agents sélectionnés et prêts pour la recherche, avec des outils de recherche et d’évaluation inclus.
Awesome-LLM-Eval: une liste organisée d'outils, de jeux de données/benchmarks, de démos, de classements, d'articles, de documents et de modèles, principalement pour l'évaluation des LLM. Une liste organisée d'outils, de benchmarks/données, de démos, de classements et de grands modèles, principalement axée sur l'évaluation des grands modèles de base, dans le but d'explorer les limites technologiques de l'IA générative.
Tutoriel en chinois de Stanford CS329Z Engineering AI Agents : un cours sur les agents d’IA destiné aux développeurs Python, avec 19 leçons et 4 travaux pratiques, couvrant les LLM, le RAG, l’appel d’outils, la mémoire, les systèmes multi-agents, l’évaluation et la sécurité. Markdown complet et HTML consultable en ligne ou hors ligne. Notes de cours en chinois.
Articles impressionnants impliquant des LLM en sciences sociales.
Benchmark d'évaluation industriel pionnier pour les LLM dans le domaine DevOps/AIOps.
Ensemble de données et référence pour RAG sur les documents internes de l'entreprise.
[ICML 2024] TrustLLM : évaluation de la fiabilité des LLM selon les critères de véracité, de sécurité, d’équité, de robustesse, de confidentialité et d’éthique. Boîte à outils Python/CLI pour les modèles locaux, les API compatibles et l’orchestration d’agents d’IA.
Un Projet d'Apprentissage par Renforcement à Grande Échelle Open Source pour les Agents de Recherche
MCP-Universe est un cadre complet conçu pour l'entraînement RL, le benchmarking et le développement d'agents IA pour l'utilisation générale d'outils.
Le dépôt officiel du document, LLMs-as-Judges : Une enquête complète sur les méthodes d'évaluation basées sur les LLM.
Passerelle MCP et serveurs MCP avec OAuth. Agent LangGraph : mémoire, évaluation/suivi, protection des informations personnelles (PII) et réduction du contexte. Guide de démarrage rapide avec Docker pour les agents d’entreprise.
Une encyclopédie des techniques de jailbreaking pour rendre les modèles d'IA plus sûrs.
Agent d’analyse financière des actions propulsé par l’IA, avec des flux de travail résilients, un système RAG fondé sur les preuves, des rapports versionnés et une évaluation automatisée de la qualité.
Ceci est le dépôt de HaluEval, une référence d'évaluation d'hallucinations à grande échelle pour les grands modèles linguistiques.