Git Stars Git Stars

#llm-evaluation Repositories

108
Gesamtzahl der Repositories
444,825
Gesamtanzahl der Sterne
4,118
Durchschnittliche Sterne/Repo

Insgesamt 108 Repositories

51
JackHopkins/factorio-learning-environment

Eine nicht sättigende, offene Umgebung zur Bewertung von LLMs in Factorio

JackHopkins
⭐ 1,224 Python 👤 JackHopkins User 🕐 Aktualisiert 2026-09-18 📅 Erstellt 2021-06-19
52
cvs-health/uqlm

[JMLR 2026] UQLM: Ein Python-Paket zur Erkennung von Halluzinationen großer Sprachmodelle mithilfe der Unsicherheitsquantifizierung

cvs-health
⭐ 1,215 Python 👤 cvs-health Organization 🕐 Aktualisiert 2026-11-08 📅 Erstellt 2025-04-17
54
togethercomputer/together-cookbook

Eine Sammlung von Notebooks/Rezepten, die Anwendungsfälle von Open-Source-Modellen mit Together AI demonstrieren.

togethercomputer
⭐ 1,191 Jupyter Notebook 👤 togethercomputer Organization 🕐 Aktualisiert 2026-11-18 📅 Erstellt 2024-10-07
55
wandb/weave

Weave ist ein Toolkit für die Entwicklung von KI-gestützten Anwendungen, entwickelt von Weights & Biases.

wandb
⭐ 1,151 Python 👤 wandb Organization 🕐 Aktualisiert 2026-11-20 📅 Erstellt 2023-06-07
56
xinxuxin/keystone-bench

Ein Benchmark für klinische Entscheidungen und Evidenz: die eine Tatsache herausarbeiten, auf der eine Antwort beruht, und prüfen, ob sich die Handlung des Assistenten entsprechend der Evidenz verändert. Auf HealthBench aufgebaut.

xinxuxin
⭐ 1,130 Python 👤 xinxuxin User 🕐 Aktualisiert 2026-10-19 📅 Erstellt 2026-09-07
57
Jwuthri/Tracely-ai

Trace-natives CI/CD für KI-Agenten – Produktionsfehler werden zu Regressionstests, die den PR blockieren. Automatisch erkennen, clustern, in hermetische Testfälle einfrieren und in der CI für 0 $ wiedergeben.

Jwuthri
⭐ 1,122 Python 👤 Jwuthri User 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2026-06-03
58
Arena-OSS/arena-hard-auto

Arena-Hard-Auto: Ein automatischer LLM-Benchmark.

Arena-OSS
⭐ 1,087 Python 👤 Arena-OSS Organization 🕐 Aktualisiert 2026-11-20 📅 Erstellt 2023-11-04
59
braintrustdata/autoevals

AutoEvals ist ein Werkzeug zur schnellen und einfachen Auswertung von KI-Modellausgaben unter Anwendung von Best Practices.

braintrustdata
⭐ 1,087 Python 👤 braintrustdata Organization 🕐 Aktualisiert 2026-11-19 📅 Erstellt 2023-07-11
60
Continuum-AI-Corp/OrcaReplay

OrcaReplay — Zeitreisen für KI-Agenten. Zeichnen Sie beliebige Agentenläufe mit jedem Modell auf, spielen Sie sie erneut ab, verzweigen Sie sie und debuggen Sie sie. Entwickelt vom OrcaRouter.ai-Team.

Continuum-AI-Corp
⭐ 1,083 TypeScript 👤 Continuum-AI-Corp Organization 🕐 Aktualisiert 2026-10-01 📅 Erstellt 2026-08-29
62
JudgmentLabs/judgeval

Der Continuous-Improvement-Stack für Agenten. Unsere Umgebungsdaten und Evaluierungen treiben die Verbesserung und Überwachung von Agenten voran.

JudgmentLabs
⭐ 1,073 Python 👤 JudgmentLabs Organization 🕐 Aktualisiert 2026-11-19 📅 Erstellt 2024-10-25
63
ray-project/llmperf

LLMPerf ist eine Bibliothek zur Validierung und zum Benchmarking von LLMs

ray-project
⭐ 1,066 Python 👤 ray-project Organization 🕐 Aktualisiert 2024-12-09 📅 Erstellt 2023-10-10
64
benchflow-ai/awesome-evals

Eine kuratierte, unverblümte Bibliothek der besten Ressourcen zum Erstellen und Bewerten von KI-Agenten – Papiere, Blogs, Vorträge, Werkzeuge, Benchmarks. Gepflegt von BenchFlow.

benchflow-ai
⭐ 1,049 👤 benchflow-ai Organization 🕐 Aktualisiert 2026-11-04 📅 Erstellt 2026-06-24
65
amazon-science/RAGChecker

RAGChecker: Ein feingranulares Framework zur Diagnose von RAG

amazon-science
⭐ 1,032 Python 👤 amazon-science Organization 🕐 Aktualisiert 2024-12-13 📅 Erstellt 2024-06-24
66
majacinka/crewai-experiments

Experimente sowohl mit lokalen als auch mit über eine API verfügbaren Modellen

majacinka
⭐ 1,006 Python 👤 majacinka User 🕐 Aktualisiert 2024-05-05 📅 Erstellt 2024-01-13
67
KCORES/kcores-llm-arena

LLM Arena vom KCORES-Team

KCORES
⭐ 960 HTML 👤 KCORES Organization 🕐 Aktualisiert 2025-04-29 📅 Erstellt 2025-02-12
68
superwesleyhys-ux/factcircuit

FactCircuit: ein prüfbarer Verifikationskreislauf für Behauptungen und Belege mit unveränderlicher Herkunftsdokumentation, stufenweisen Prüfungen, begrenzter Abfrage und reproduzierbarer Bewertung.

superwesleyhys-ux
⭐ 926 Python 👤 superwesleyhys-ux User 🕐 Aktualisiert 2026-11-13 📅 Erstellt 2026-09-06
70
hinthornw/promptimizer

Prompt-Optimierungs-Scratch

hinthornw
⭐ 899 Python 👤 hinthornw User 🕐 Aktualisiert 2025-04-17 📅 Erstellt 2024-10-30
71
xlang-ai/Spider2

[ICLR 2025 Oral] Spider 2.0: Evaluierung von Sprachmodellen für reale Text-zu-SQL-Workflows in Unternehmen

xlang-ai
⭐ 890 HTML 👤 xlang-ai Organization 🕐 Aktualisiert 2026-08-12 📅 Erstellt 2024-08-22
72
yule-BUAA/MergeLM

Codebasis für das Zusammenführen von Sprachmodellen (ICML 2024)

yule-BUAA
⭐ 862 Python 👤 yule-BUAA User 🕐 Aktualisiert 2024-05-05 📅 Erstellt 2023-11-06
73
jwuthri-cloud/Tracely-ai

Trace-natives CI/CD für KI-Agenten: Produktions-Traces bewerten, Fehler gruppieren, sie in wiederholbare Regressionstests überführen und PRs blockieren, die Regressionen verursachen. Selbst hostbar.

jwuthri-cloud
⭐ 850 Python 👤 jwuthri-cloud User 🕐 Aktualisiert 2026-11-16 📅 Erstellt 2026-10-11
74
darkrishabh/agent-skills-eval

Ein Test-Runner für KI-Agenten-Fähigkeiten im Stil von agentskills.io

darkrishabh
⭐ 819 TypeScript 👤 darkrishabh User 🕐 Aktualisiert 2026-11-16 📅 Erstellt 2026-05-06
75
tjunlp-lab/Awesome-LLMs-Evaluation-Papers

Die Arbeiten sind gemäß unserer Umfrage organisiert: Evaluating Large Language Models: A Comprehensive Survey.

tjunlp-lab
⭐ 791 👤 tjunlp-lab User 🕐 Aktualisiert 2024-05-08 📅 Erstellt 2023-10-29
77
overmind-core/overmind

Die Plattform zur kontinuierlichen Verbesserung von KI-Agenten.

overmind-core
⭐ 771 Python 👤 overmind-core Organization 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2026-03-27
79
OpenLMLab/GAOKAO-Bench

GAOKAO-Bench ist ein Bewertungsframework, das GAOKAO-Fragen als Datensatz zur Bewertung großer Sprachmodelle verwendet.

OpenLMLab
⭐ 754 Python 👤 OpenLMLab Organization 🕐 Aktualisiert 2025-01-07 📅 Erstellt 2023-04-16
80
EverMind-AI/SkillCorpus

Open-Source-Infrastruktur, die verstreute SKILL.md-Dateien in kuratierte, abrufbereite Agentenkompetenz-Korpora umwandelt – einschließlich Tools für Abruf und Evaluierung.

EverMind-AI
⭐ 706 Python 👤 EverMind-AI Organization 🕐 Aktualisiert 2026-11-19 📅 Erstellt 2026-08-11
81
Steven-Luo/MasteringRAG

Enterprise-RAG-Systeme: Vom Anfänger zum Experten

Steven-Luo
⭐ 699 Jupyter Notebook 👤 Steven-Luo User 🕐 Aktualisiert 2025-06-25 📅 Erstellt 2024-07-16
82
mlabonne/llm-autoeval

Bewerten Sie Ihre LLMs automatisch in Google Colab

mlabonne
⭐ 678 Python 👤 mlabonne User 🕐 Aktualisiert 2024-05-07 📅 Erstellt 2024-01-01
83
onejune2018/Awesome-LLM-Eval

Awesome-LLM-Eval: eine kuratierte Liste von Tools, Datensätzen/Benchmarks, Demos, Bestenlisten, Papern, Docs und Modellen, hauptsächlich für die Evaluierung von LLMs. Eine kuratierte Liste von Tools, Benchmark/Daten, Demos, Ranglisten und großen Modellen, die sich hauptsächlich an die Bewertung von Basis-Large Models richtet und darauf abzielt, die technologischen Grenzen der generativen KI zu erforschen.

onejune2018
⭐ 661 👤 onejune2018 User 🕐 Aktualisiert 2025-11-24 📅 Erstellt 2023-04-26
84
wanghao-SunSky/cs329z-chinese

Chinesisches Tutorial zu Stanford CS329Z Engineering AI Agents: ein KI-Agenten-Kurs für Python-Entwickler mit 19 Vorlesungen und 4 Praxisprojekten zu LLMs, RAG, Tool-Aufrufen, Gedächtnis, Multi-Agenten-Systemen, Evaluation und Sicherheit. Vollständiges Markdown sowie HTML für Online- und Offline-Nutzung. Chinesische Kursnotizen.

wanghao-SunSky
⭐ 658 HTML 👤 wanghao-SunSky User 🕐 Aktualisiert 2026-11-06 📅 Erstellt 2026-10-28
85
ValueByte-AI/Awesome-LLM-in-Social-Science

Hervorragende Arbeiten zu LLMs in den Sozialwissenschaften.

ValueByte-AI
⭐ 652 👤 ValueByte-AI Organization 🕐 Aktualisiert 2026-11-14 📅 Erstellt 2023-10-15
86
codefuse-ai/codefuse-devops-eval

Branchenweit erster Evaluierungsbenchmark für LLMs im DevOps/AIOps-Bereich.

codefuse-ai
⭐ 646 Python 👤 codefuse-ai Organization 🕐 Aktualisiert 2024-07-10 📅 Erstellt 2023-09-28
87
onyx-dot-app/EnterpriseRAG-Bench

Datensatz und Benchmark für RAG auf unternehmensinternen Dokumenten.

onyx-dot-app
⭐ 639 👤 onyx-dot-app Organization 🕐 Aktualisiert 2026-09-03 📅 Erstellt 2026-02-19
88
HowieHwong/TrustLLM

[ICML 2024] TrustLLM: Bewertung der Vertrauenswürdigkeit von LLMs hinsichtlich Wahrhaftigkeit, Sicherheit, Fairness, Robustheit, Datenschutz und Ethik. Python-/CLI-Toolkit für lokale Modelle, kompatible APIs und die Orchestrierung von KI-Agenten.

HowieHwong
⭐ 635 Python 👤 HowieHwong User 🕐 Aktualisiert 2026-10-04 📅 Erstellt 2023-12-23
89
inclusionAI/ASearcher

Ein Open-Source-Großprojekt für Reinforcement Learning für Suchagenten

inclusionAI
⭐ 617 Python 👤 inclusionAI Organization 🕐 Aktualisiert 2025-11-26 📅 Erstellt 2025-08-05
90
mlfoundations/evalchemy

Automatische Auswertungen für LLMs

mlfoundations
⭐ 617 HTML 👤 mlfoundations Organization 🕐 Aktualisiert 2026-11-12 📅 Erstellt 2024-11-15
92
SalesforceAIResearch/MCP-Universe

MCP-Universe ist ein umfassendes Framework, das für RL-Training, Benchmarking und die Entwicklung von KI-Agenten für den allgemeinen Werkzeuggebrauch entwickelt wurde.

SalesforceAIResearch
⭐ 606 Python 👤 SalesforceAIResearch Organization 🕐 Aktualisiert 2026-10-08 📅 Erstellt 2025-05-02
93
CSHaitao/Awesome-LLMs-as-Judges

Das offizielle Repo für die Arbeit, LLMs-as-Judges: Eine umfassende Umfrage zu LLM-basierten Bewertungsmethoden.

CSHaitao
⭐ 600 👤 CSHaitao User 🕐 Aktualisiert 2025-07-29 📅 Erstellt 2024-11-10
94
harish-gaggar/mcp-server-gateway

MCP-Gateway und MCP-Server mit OAuth. LangGraph-Agent: Speicher, Evaluation/Tracking, Schutz personenbezogener Daten (PII) und Kürzung des Kontexts. Docker-Schnellstart für Unternehmensagenten.

harish-gaggar
⭐ 588 Python 👤 harish-gaggar User 🕐 Aktualisiert 2026-10-03 📅 Erstellt 2026-08-17
95
yfzhang114/Thyme

✨✨ [ICLR 2026] Denke über Bilder hinaus

yfzhang114
⭐ 585 Python 👤 yfzhang114 User 🕐 Aktualisiert 2025-09-23 📅 Erstellt 2025-08-17
96
General-Analysis/GA

Eine Enzyklopädie von Jailbreaking-Techniken, um KI-Modelle sicherer zu machen.

General-Analysis
⭐ 583 Jupyter Notebook 👤 General-Analysis Organization 🕐 Aktualisiert 2025-05-26 📅 Erstellt 2025-01-18
98
juanjuandog/FinSight-AI

KI-Agent für Aktienanalysen mit robusten Workflows, evidenzbasiertem RAG, versionierten Berichten und automatisierter Qualitätsbewertung.

juanjuandog
⭐ 562 Java 👤 juanjuandog User 🕐 Aktualisiert 2026-09-02 📅 Erstellt 2026-05-11
100
RUCAIBox/HaluEval

Dies ist das Repository von HaluEval, einem groß angelegten Benchmark zur Bewertung von Halluzinationen für große Sprachmodelle.

RUCAIBox
⭐ 540 Python 👤 RUCAIBox Organization 🕐 Aktualisiert 2024-02-12 📅 Erstellt 2023-05-18