#evaluation Dépôts
Découvrez 89 dépôts GitHub open source actifs associés à #evaluation, cumulant 369,872 étoiles au total (soit une moyenne de 4,155 étoiles par projet). Le projet en tête de ce thème est lm-sys/FastChat, avec 39,550 étoiles.
89 dépôts au total
Une plateforme ouverte pour l'entraînement, le déploiement et l'évaluation de grands modèles linguistiques. Dépôt de publication pour Vicuna et Chatbot Arena.
Plateforme open-source de connaissances LLM : transformez des documents bruts en RAG interrogable, un agent de raisonnement autonome et un Wiki auto-maintenu.
🪢 Plateforme d’ingénierie IA open source : passerelle IA, observabilité des agents, évaluations et gestion des prompts et des compétences, basée sur OpenTelemetry. Une plateforme ouverte pour chaque appel IA et chaque agent. Hébergez-la vous-même ou utilisez Langfuse Cloud.
La plateforme d'ingénierie IA open source pour les agents, les LLM et les modèles ML. MLflow permet aux équipes de toutes tailles de déboguer, évaluer, surveiller et optimiser des applications IA de qualité production tout en contrôlant les coûts et en gérant l'accès aux modèles et aux données.
Testez vos prompts, agents et RAG. Red teaming/pentesting/analyse de vulnérabilités pour l'IA. Comparez les performances de GPT, Claude, Gemini, DeepSeek et plus encore. Configurations déclaratives simples avec intégration en ligne de commande et CI/CD. Utilisé par OpenAI et Anthropic.
Déboguez, évaluez et surveillez vos applications LLM, vos systèmes RAG et vos flux de travail d'agents avec un traçage complet, des évaluations automatisées et des tableaux de bord prêts pour la production.
OpenCompass est une plateforme d’évaluation des grands modèles de langage (LLM) prenant en charge un large éventail de modèles d’OpenAI, Anthropic, Gemini, Qwen, GLM, DeepSeek, etc., sur plus de 100 jeux de données couvrant les connaissances, le raisonnement, la programmation, les sciences, le langage, les contextes longs et la sécurité.
达尔文.skill —— Un système qui fait évoluer vos Skills à l'infini : évaluation → amélioration → test → conservation ou rollback | Optimisation autonome des skills inspirée d'Autoresearch pour Claude Code. Évaluer, améliorer, tester, conserver ou réverter.
🧊 Plateforme d'observabilité LLM open source. Une ligne de code pour surveiller, évaluer et expérimenter. YC W23 🍓
Plateforme d'optimisation d'agents IA de nouvelle génération : Cozeloop aborde les défis du développement d'agents IA en fournissant des capacités de gestion tout au long du cycle de vie, du développement, du débogage et de l'évaluation à la surveillance.
Construire, évaluer et optimiser les systèmes d'IA. Cela comprend les évaluations (evals), le RAG, les agents, l'ajustement précis (fine-tuning), la génération de données synthétiques, la gestion des ensembles de données, le MCP, et plus encore.
Observabilité et évaluation open source des agents pour les équipes de plateformes d’IA. Tracez, testez, acheminez et gouvernez chaque agent et assistant de programmation de l’entreprise.
Boîte à outils d'évaluation multimodale One-for-All pour les tâches textuelles, d'images, de vidéos et audio
Boîte à outils d'évaluation open-source pour les grands modèles multimodaux (LMM), prend en charge plus de 220 LMM et plus de 80 benchmarks
Cadre multiniveau pour évaluer les compétences et les extensions des agents d’IA, avec des contrôles qualité, une analyse de sécurité, des vérifications de compatibilité avec le harnais de test, la détection des chevauchements sémantiques, la génération de jeux de données synthétiques d’évaluation et l’évaluation en direct des agents, qui mesure l’effet des compétences sur leur comportement. Fournit des modèles CI réutilisables qui permettent d’intégrer toutes les vérifications à n’importe quel dépôt.
Un framework rationalisé et personnalisable pour l'évaluation efficace et le benchmarking des performances des grands modèles (LLM, VLM, AIGC).
MTEB : Évaluation de pointe des embeddings à travers les langues et les modalités
Laminar – plateforme d'observabilité open source conçue spécifiquement pour les agents IA. YC S24.
SuperCLUE : Référence globale pour les grands modèles chinois | Une référence pour les modèles fondamentaux en chinois
Klipse est un plugin JavaScript pour intégrer des extraits de code interactifs dans des blogs techniques.
Un environnement de programmation visuelle open-source pour tester les invites des LLM.
YAO = Obtenir des Résultats d'IA. Un système rigoureux d'ingénierie, d'évaluation, de gouvernance et de portabilité pour des compétences d'agent réutilisables.
Lighteval est votre boîte à outils tout-en-un pour évaluer les LLM sur plusieurs backends
🤗 Evaluate : Une bibliothèque pour évaluer facilement les modèles et les ensembles de données d'apprentissage automatique.
RAG assemblé : GraphRAG, LightRAG et Neo4j-llm-graph-builder assemblés et fusionnés manuellement pour la construction et la recherche de graphes de connaissances ; DeepSearch intégré pour le raisonnement RAG de domaine privé ; un cadre d'évaluation personnalisé pour GraphRAG créé en interne.
UpTrain est une plateforme unifiée open-source pour évaluer et améliorer les applications d'IA générative. Nous fournissons des notes pour plus de 20 contrôles préconfigurés (couvrant les cas d'utilisation du langage, du code et des embeddings), effectuons une analyse des causes profondes des cas d'échec et donnons des aperçus sur la façon de les résoudre.
Plateforme de test et d'évaluation pour discuter, inspecter et déboguer les serveurs MCP, les applications MCP et les applications ChatGPT.
Le workflow Fable : comment Claude Fable 5 a fonctionné, distillé en compétences que tout modèle peut exécuter, avec l'évaluation qui le maintient honnête. Pensez / agissez / prouvez.
📰 Articles et blogs incontournables sur la modélisation de contexte long basée sur les LLM 🔥
Partage d'informations pratiques et de connaissances théoriques sur l'évaluation des LLM que nous avons recueillies tout en gérant le Open LLM Leaderboard et en concevant lighteval !
Avalanche : une bibliothèque de bout en bout pour l'apprentissage continu basée sur PyTorch.
:cloud: :rocket: :bar_chart: :chart_with_upwards_trend: Évaluation de l'état de l'art en IA
Un évaluateur automatique pour les modèles de langage qui suivent les instructions. Validé par l'homme, de haute qualité, peu coûteux et rapide.
Un framework Go pour construire des systèmes d'agents en production avec des flux de travail graphiques, des outils, de la mémoire, A2A, AG-UI, MCP, l'évaluation et l'observabilité.
(IROS 2020, ECCVW 2020) Implémentation officielle en Python pour «3D Multi-Object Tracking : A Baseline and New Evaluation Metrics»
WFGY se dirige vers WFGY 5.0 Polaris Protocol, une importante version open-source pour le raisonnement IA, RAG, agents et flux de travail du monde réel. Inclut Problem Map, Global Debug Card, WFGY 4.0 et l'œuf de Pâques CFV.
Modèles de santé mentale (LLM x Santé Mentale), Pré et Post-formation & Jeu de données & Évaluation & Déploiement & RAG, avec les modèles des séries InternLM / Qwen / Baichuan / DeepSeek / Mixtral / LLama / GLM
La page officielle GitHub du document de synthèse "A Survey on Evaluation of Large Language Models".
Code d'évaluation pour diverses métriques automatisées non supervisées pour la Génération de Langage Naturel.
KernelBench : Les LLM peuvent-ils écrire des noyaux GPU ? - Benchmark + Toolkit avec Torch -> CUDA (+ autres DSL)
Benchmark open-source pour les agents IA de navigateur sur des tâches quotidiennes.
Un cadre pour le diagnostic complet et l'optimisation d'agents utilisant des interactions synthétiques réalistes et simulées
Foire aux questions
Quel est le dépôt #evaluation le plus populaire sur GitHub ?
Le projet #evaluation open source le mieux classé sur GitHub est lm-sys/FastChat, avec 39,550 étoiles. Une plateforme ouverte pour l'entraînement, le déploiement et l'évaluation de grands modèles linguistiques. Dépôt de publication pour Vicuna et Chatbot Arena.
Quels langages de programmation sont les plus utilisés dans les dépôts #evaluation ?
Parmi les projets #evaluation les mieux classés sur GitHub, les langages de programmation les plus courants sont Python, TypeScript, Jupyter Notebook, Go.
Comment le classement des dépôts #evaluation est-il calculé ?
Nous suivons 89 dépôts open source actifs associés à #evaluation (500+ étoiles), totalisant 369,872 étoiles, avec une moyenne de 4,155 étoiles par dépôt. Les classements sont mis à jour quotidiennement à partir de l’API GitHub.