#llm-evaluation Dépôts
Découvrez 108 dépôts GitHub open source actifs associés à #llm-evaluation, cumulant 444,825 étoiles au total (soit une moyenne de 4,118 étoiles par projet). Le projet en tête de ce thème est ifixai-ai/iFixAi, avec 46,592 étoiles.
108 dépôts au total
Audit indépendant des agents IA. Exécuté par un humain ou par l'agent lui-même, pour répondre à la question la plus cruciale de l'économie des agents IA : l'agent fait-il ce qu'il est censé faire ? Avec iFixAi, vous pouvez obtenir cette réponse en moins de 120 secondes.
🪢 Plateforme d’ingénierie IA open source : passerelle IA, observabilité des agents, évaluations et gestion des prompts et des compétences, basée sur OpenTelemetry. Une plateforme ouverte pour chaque appel IA et chaque agent. Hébergez-la vous-même ou utilisez Langfuse Cloud.
La plateforme d'ingénierie IA open source pour les agents, les LLM et les modèles ML. MLflow permet aux équipes de toutes tailles de déboguer, évaluer, surveiller et optimiser des applications IA de qualité production tout en contrôlant les coûts et en gérant l'accès aux modèles et aux données.
Testez vos prompts, agents et RAG. Red teaming/pentesting/analyse de vulnérabilités pour l'IA. Comparez les performances de GPT, Claude, Gemini, DeepSeek et plus encore. Configurations déclaratives simples avec intégration en ligne de commande et CI/CD. Utilisé par OpenAI et Anthropic.
Déboguez, évaluez et surveillez vos applications LLM, vos systèmes RAG et vos flux de travail d'agents avec un traçage complet, des évaluations automatisées et des tableaux de bord prêts pour la production.
Evals est un framework pour l'évaluation des LLM et des systèmes LLM, et un registre open-source de benchmarks.
Affinez facilement (SFT/RL), évaluez et déployez Qwen, Gemma ou tout LLM/VLM agentique open source !
Une plateforme complète de Red Teaming de l’IA qui sécurise les écosystèmes d’IA grâce à Agent Scan, Skills Scan, MCP Scan, AI Infra Scan et à l’évaluation des jailbreaks des LLM.
Optimisez les invites, le code et plus encore grâce à l'optimisation réflexive alimentée par l'IA
NoneLinear - Évaluation ReLE : Évaluation des capacités des modèles d'IA en chinois (mise à jour continue) : Inclut actuellement 374 modèles, couvrant des modèles commerciaux tels que ChatGPT, GPT-5.4, Google Gemini-3.1-pro, Claude-4.6, Ernie-X1.1, Ernie-5.0, Qwen3.6-max, Qwen3.6-plus, Baichuan, iFlytek Spark, SenseChat, ainsi que des modèles open source comme Step3.5-flash, Kimi-k2.6, Ernie4.5, MiniMax-M2.7, DeepSeek-v4, Qwen3.6, Llama4, Zhipu GLM-5.1, MiMo-V2, LongCat, Gemma4, Mistral, etc. Il ne fournit pas seulement un classement, mais aussi une base de données de défauts de modèles comptant plus de 2 millions d'entrées, facilitant la recherche, l'analyse et l'amélioration des grands modèles pour la communauté.
Agent OS : l’agent devient plus intelligent de lui-même. Nous nous contentons de maintenir la ligne : sélection par entretien, évaluation par étapes et boucle d’évolution budgétée. Serveur MCP, 14 environnements d’exécution : Claude Code, Codex CLI, Gemini CLI, OpenCode, Copilot, Kiro et bien plus.
🧊 Plateforme d'observabilité LLM open source. Une ligne de code pour surveiller, évaluer et expérimenter. YC W23 🍓
Le guide pratique des LLM : Des bases au déploiement d'applications LLM et RAG avancées sur AWS en utilisant les meilleures pratiques LLMOps
Paper2Code : Automatisation de la génération de code à partir d'articles scientifiques en apprentissage automatique
Boîte à outils d'évaluation multimodale One-for-All pour les tâches textuelles, d'images, de vidéos et audio
Une collection de méthodes scientifiques, de processus, d'algorithmes et de systèmes pour construire des histoires et des modèles.
Laminar – plateforme d'observabilité open source conçue spécifiquement pour les agents IA. YC S24.
Une liste organisée de plus de 100 bibliothèques et frameworks pour les ingénieurs IA construisant avec des LLM
Inspect : Un framework pour l'évaluation des grands modèles de langage
Évaluation comparative de la capacité de raisonnement complexe des grands modèles linguistiques avec l'incitation en chaîne de pensée
Ressources complètes sur l'IA générative, y compris une feuille de route détaillée, des projets, des cas d'utilisation, la préparation aux entretiens et la préparation au codage.
Effectuer une récupération simple à partir de modèles LLM à différentes longueurs de contexte pour mesurer la précision
Plateforme open source de bout en bout pour évaluer, observer et améliorer les applications LLM et agents IA. Tracing · Evals · Simulations · Datasets · Gateway · Guardrails. Auto-hébergeable. Apache 2.0.
Projets et ressources pour vous aider à devenir un meilleur développeur IA.
les ressources sur l'application basée sur LLM avec le modèle RAG
Créez, enrichissez et transformez des jeux de données à l'aide de modèles d'IA sans code
Un outil puissant pour le fuzzing automatisé des LLM. Il est conçu pour aider les développeurs et les chercheurs en sécurité à identifier et à atténuer les jailbreaks potentiels dans leurs API LLM.
Un agent d'audit d'alignement capable d'explorer rapidement des hypothèses d'alignement
Benchmark open-source pour les agents IA de navigateur sur des tâches quotidiennes.
Prompty facilite la création, la gestion, le débogage et l'évaluation des invites LLM pour vos applications d'IA. Prompty est une classe d'actifs et un format pour les invites LLM conçus pour améliorer l'observabilité, la compréhensibilité et la portabilité pour les développeurs.
Foire aux questions
Quel est le dépôt #llm-evaluation le plus populaire sur GitHub ?
Le projet #llm-evaluation open source le mieux classé sur GitHub est ifixai-ai/iFixAi, avec 46,592 étoiles. Audit indépendant des agents IA. Exécuté par un humain ou par l'agent lui-même, pour répondre à la question la plus cruciale de l'économie des agents IA : l'agent fait-il ce qu'il est censé faire ? Avec iFixAi, vous pouvez obtenir cette réponse en moins de 120 secondes.
Quels langages de programmation sont les plus utilisés dans les dépôts #llm-evaluation ?
Parmi les projets #llm-evaluation les mieux classés sur GitHub, les langages de programmation les plus courants sont Python, Jupyter Notebook, TypeScript, Java.
Comment le classement des dépôts #llm-evaluation est-il calculé ?
Nous suivons 108 dépôts open source actifs associés à #llm-evaluation (500+ étoiles), totalisant 444,825 étoiles, avec une moyenne de 4,118 étoiles par dépôt. Les classements sont mis à jour quotidiennement à partir de l’API GitHub.