#llm-evaluation Repositories
Insgesamt 108 Repositories
Eine nicht sättigende, offene Umgebung zur Bewertung von LLMs in Factorio
[JMLR 2026] UQLM: Ein Python-Paket zur Erkennung von Halluzinationen großer Sprachmodelle mithilfe der Unsicherheitsquantifizierung
Eine Sammlung von Notebooks/Rezepten, die Anwendungsfälle von Open-Source-Modellen mit Together AI demonstrieren.
Weave ist ein Toolkit für die Entwicklung von KI-gestützten Anwendungen, entwickelt von Weights & Biases.
Ein Benchmark für klinische Entscheidungen und Evidenz: die eine Tatsache herausarbeiten, auf der eine Antwort beruht, und prüfen, ob sich die Handlung des Assistenten entsprechend der Evidenz verändert. Auf HealthBench aufgebaut.
Trace-natives CI/CD für KI-Agenten – Produktionsfehler werden zu Regressionstests, die den PR blockieren. Automatisch erkennen, clustern, in hermetische Testfälle einfrieren und in der CI für 0 $ wiedergeben.
AutoEvals ist ein Werkzeug zur schnellen und einfachen Auswertung von KI-Modellausgaben unter Anwendung von Best Practices.
OrcaReplay — Zeitreisen für KI-Agenten. Zeichnen Sie beliebige Agentenläufe mit jedem Modell auf, spielen Sie sie erneut ab, verzweigen Sie sie und debuggen Sie sie. Entwickelt vom OrcaRouter.ai-Team.
Der Continuous-Improvement-Stack für Agenten. Unsere Umgebungsdaten und Evaluierungen treiben die Verbesserung und Überwachung von Agenten voran.
Eine kuratierte, unverblümte Bibliothek der besten Ressourcen zum Erstellen und Bewerten von KI-Agenten – Papiere, Blogs, Vorträge, Werkzeuge, Benchmarks. Gepflegt von BenchFlow.
Experimente sowohl mit lokalen als auch mit über eine API verfügbaren Modellen
FactCircuit: ein prüfbarer Verifikationskreislauf für Behauptungen und Belege mit unveränderlicher Herkunftsdokumentation, stufenweisen Prüfungen, begrenzter Abfrage und reproduzierbarer Bewertung.
[ICLR 2025 Oral] Spider 2.0: Evaluierung von Sprachmodellen für reale Text-zu-SQL-Workflows in Unternehmen
Trace-natives CI/CD für KI-Agenten: Produktions-Traces bewerten, Fehler gruppieren, sie in wiederholbare Regressionstests überführen und PRs blockieren, die Regressionen verursachen. Selbst hostbar.
Ein Test-Runner für KI-Agenten-Fähigkeiten im Stil von agentskills.io
Die Arbeiten sind gemäß unserer Umfrage organisiert: Evaluating Large Language Models: A Comprehensive Survey.
GAOKAO-Bench ist ein Bewertungsframework, das GAOKAO-Fragen als Datensatz zur Bewertung großer Sprachmodelle verwendet.
Open-Source-Infrastruktur, die verstreute SKILL.md-Dateien in kuratierte, abrufbereite Agentenkompetenz-Korpora umwandelt – einschließlich Tools für Abruf und Evaluierung.
Awesome-LLM-Eval: eine kuratierte Liste von Tools, Datensätzen/Benchmarks, Demos, Bestenlisten, Papern, Docs und Modellen, hauptsächlich für die Evaluierung von LLMs. Eine kuratierte Liste von Tools, Benchmark/Daten, Demos, Ranglisten und großen Modellen, die sich hauptsächlich an die Bewertung von Basis-Large Models richtet und darauf abzielt, die technologischen Grenzen der generativen KI zu erforschen.
Chinesisches Tutorial zu Stanford CS329Z Engineering AI Agents: ein KI-Agenten-Kurs für Python-Entwickler mit 19 Vorlesungen und 4 Praxisprojekten zu LLMs, RAG, Tool-Aufrufen, Gedächtnis, Multi-Agenten-Systemen, Evaluation und Sicherheit. Vollständiges Markdown sowie HTML für Online- und Offline-Nutzung. Chinesische Kursnotizen.
Hervorragende Arbeiten zu LLMs in den Sozialwissenschaften.
Branchenweit erster Evaluierungsbenchmark für LLMs im DevOps/AIOps-Bereich.
Datensatz und Benchmark für RAG auf unternehmensinternen Dokumenten.
[ICML 2024] TrustLLM: Bewertung der Vertrauenswürdigkeit von LLMs hinsichtlich Wahrhaftigkeit, Sicherheit, Fairness, Robustheit, Datenschutz und Ethik. Python-/CLI-Toolkit für lokale Modelle, kompatible APIs und die Orchestrierung von KI-Agenten.
MCP-Universe ist ein umfassendes Framework, das für RL-Training, Benchmarking und die Entwicklung von KI-Agenten für den allgemeinen Werkzeuggebrauch entwickelt wurde.
Das offizielle Repo für die Arbeit, LLMs-as-Judges: Eine umfassende Umfrage zu LLM-basierten Bewertungsmethoden.
MCP-Gateway und MCP-Server mit OAuth. LangGraph-Agent: Speicher, Evaluation/Tracking, Schutz personenbezogener Daten (PII) und Kürzung des Kontexts. Docker-Schnellstart für Unternehmensagenten.
Eine Enzyklopädie von Jailbreaking-Techniken, um KI-Modelle sicherer zu machen.
KI-Agent für Aktienanalysen mit robusten Workflows, evidenzbasiertem RAG, versionierten Berichten und automatisierter Qualitätsbewertung.
Dies ist das Repository von HaluEval, einem groß angelegten Benchmark zur Bewertung von Halluzinationen für große Sprachmodelle.