#llm-evaluation Repositories
Entdecke 108 aktive Open-Source-GitHub-Repositories, die mit #llm-evaluation getaggt sind und insgesamt 444,825 Sterne gesammelt haben (durchschnittlich 4,118 Sterne pro Projekt). Spitzenreiter in diesem Themenbereich ist ifixai-ai/iFixAi mit 46,592 Sternen.
Insgesamt 108 Repositories
Unabhängige Prüfung von KI-Agenten. Durchgeführt von Menschen oder dem Agenten selbst, um die wichtigste Frage in der KI-Agenten-Ökonomie zu beantworten: Tut der Agent das, was er tun soll? Mit iFixAi erhalten Sie diese Antwort in weniger als 120 Sekunden.
🪢 Open-Source-Plattform für KI-Engineering: AI Gateway, Agenten-Observability, Evaluierungen sowie Prompt- und Skill-Management, basierend auf OpenTelemetry. Eine offene Plattform für jeden KI-Aufruf und jeden Agenten. Selbst hosten oder Langfuse Cloud nutzen.
Die Open-Source-KI-Ingenieurplattform für Agenten, LLMs und ML-Modelle. MLflow ermöglicht es Teams aller Größen, produktionsreife KI-Anwendungen zu debuggen, auszuwerten, zu überwachen und zu optimieren, während Kosten kontrolliert und der Zugriff auf Modelle und Daten verwaltet wird.
Testen Sie Ihre Prompts, Agenten und RAGs. Red Teaming/Pentesting/Schwachstellenanalyse für KI. Vergleichen Sie die Leistung von GPT, Claude, Gemini, DeepSeek und mehr. Einfache deklarative Konfigurationen mit Befehlszeilen- und CI/CD-Integration. Wird von OpenAI und Anthropic verwendet.
Debuggen, bewerten und überwachen Sie Ihre LLM-Anwendungen, RAG-Systeme und agentenbasierten Workflows mit umfassendem Tracing, automatisierten Bewertungen und produktionsreifen Dashboards.
Evals ist ein Framework zur Bewertung von LLMs und LLM-Systemen und ein Open-Source-Repository von Benchmarks.
Qwen, Gemma oder jedes offene agentische LLM/VLM ganz einfach feinabstimmen (SFT/RL), evaluieren und bereitstellen!
Eine Full-Stack-Plattform für KI-Red-Teaming, die KI-Ökosysteme durch Agent Scan, Skills Scan, MCP Scan, AI Infra Scan und die Bewertung von LLM-Jailbreaks schützt.
NoneLinear - ReLE-Bewertung: Bewertung der Fähigkeiten chinesischer KI-Großmodelle (kontinuierliche Aktualisierung): Umfasst derzeit 374 Modelle, darunter kommerzielle Modelle wie ChatGPT, GPT-5.4, Google Gemini-3.1-pro, Claude-4.6, Ernie-X1.1, Ernie-5.0, Qwen3.6-max, Qwen3.6-plus, Baichuan, iFlytek Spark, SenseChat sowie Open-Source-Modelle wie Step3.5-flash, Kimi-k2.6, Ernie4.5, MiniMax-M2.7, DeepSeek-v4, Qwen3.6, Llama4, Zhipu GLM-5.1, MiMo-V2, LongCat, Gemma4, Mistral und weitere. Es bietet nicht nur ein Ranking, sondern auch eine Datenbank mit über 2 Millionen Modellfehlern, um der Community die Erforschung, Analyse und Verbesserung von KI-Großmodellen zu erleichtern.
Agent OS: Der Agent wird von selbst intelligenter. Wir halten nur die Linie: interviewbasierte Auswahl, stufenweise Bewertung und ein budgetierter Evolutionszyklus. MCP-Server, 14 Laufzeitumgebungen: Claude Code, Codex CLI, Gemini CLI, OpenCode, Copilot, Kiro und mehr.
🧊 Open-Source LLM-Observability-Plattform. Eine Codezeile zum Überwachen, Bewerten und Experimentieren. YC W23 🍓
Der praktische Leitfaden für LLMs: Von den Grundlagen bis zur Bereitstellung fortschrittlicher LLM- und RAG-Apps auf AWS unter Anwendung von LLMOps-Best Practices
Paper2Code: Automatisierung der Codegenerierung aus wissenschaftlichen Arbeiten im Bereich maschinelles Lernen
One-for-All Multimodales Evaluations-Toolkit für Text-, Bild-, Video- und Audio-Aufgaben
Eine Sammlung wissenschaftlicher Methoden, Prozesse, Algorithmen und Systeme zum Erstellen von Geschichten und Modellen.
Laminar – Open-Source-Observability-Plattform, die speziell für KI-Agenten entwickelt wurde. YC S24.
Code für die Veröffentlichung "Evaluating Large Language Models Trained on Code"
Eine kuratierte Liste von über 100 Bibliotheken und Frameworks für KI-Ingenieure, die mit LLMs aufbauen
Benchmarking der komplexen Schlussfolgerungsfähigkeit großer Sprachmodelle mit Chain-of-Thought-Prompting
Umfassende Ressourcen zu Generative AI, einschließlich einer detaillierten Roadmap, Projekten, Anwendungsfällen, Vorbereitung auf Vorstellungsgespräche und Codierungsvorbereitung.
Durchführen einfacher Abrufe von LLM-Modellen mit verschiedenen Kontextlängen zur Messung der Genauigkeit
Open-Source-End-to-End-Plattform zur Bewertung, Beobachtung und Verbesserung von LLM- und KI-Agent-Anwendungen. Tracing · Evals · Simulations · Datasets · Gateway · Guardrails. Selbst-hostbar. Apache 2.0.
Projekte & Ressourcen, die Ihnen helfen, ein besserer KI-Entwickler zu werden.
die Ressourcen über die auf LLM mit RAG-Muster basierende Anwendung
Erstellen, anreichern und transformieren Sie Datensätze mit KI-Modellen ganz ohne Code
Ein leistungsstarkes Werkzeug für automatisiertes LLM-Fuzzing. Es wurde entwickelt, um Entwicklern und Sicherheitsexperten bei der Identifizierung und Abmilderung potenzieller Jailbreaks in ihren LLM-APIs zu helfen.
Ein Agent zur Ausrichtungsprüfung, der in der Lage ist, Ausrichtungshypothesen schnell zu erkunden
Prompty macht es einfach, LLM-Prompts für Ihre KI-Anwendungen zu erstellen, zu verwalten, zu debuggen und zu bewerten. Prompty ist eine Anlageklasse und ein Format für LLM-Prompts, das zur Verbesserung der Beobachtbarkeit, Verständlichkeit und Portabilität für Entwickler entwickelt wurde.
Häufig gestellte Fragen
Welches ist das beliebteste #llm-evaluation-Repository auf GitHub?
Das am höchsten eingestufte Open-Source-#llm-evaluation-Projekt auf GitHub ist ifixai-ai/iFixAi mit 46,592 Sternen. Unabhängige Prüfung von KI-Agenten. Durchgeführt von Menschen oder dem Agenten selbst, um die wichtigste Frage in der KI-Agenten-Ökonomie zu beantworten: Tut der Agent das, was er tun soll? Mit iFixAi erhalten Sie diese Antwort in weniger als 120 Sekunden.
Welche Programmiersprachen werden in #llm-evaluation-Repositories am häufigsten verwendet?
Unter den am höchsten eingestuften #llm-evaluation-Projekten auf GitHub sind Python, Jupyter Notebook, TypeScript, Java die am häufigsten verwendeten Programmiersprachen.
Wie wird das Ranking der #llm-evaluation-Repositories berechnet?
Wir verfolgen 108 aktive Open-Source-Repositories, die mit #llm-evaluation getaggt sind (500+ Sterne), mit insgesamt 444,825 Sternen und durchschnittlich 4,118 Sternen pro Repository. Die Rankings werden täglich über die GitHub-API aktualisiert.