Git Stars Git Stars

#llm-evaluation Repositories

Entdecke 108 aktive Open-Source-GitHub-Repositories, die mit #llm-evaluation getaggt sind und insgesamt 444,825 Sterne gesammelt haben (durchschnittlich 4,118 Sterne pro Projekt). Spitzenreiter in diesem Themenbereich ist ifixai-ai/iFixAi mit 46,592 Sternen.

108
Gesamtzahl der Repositories
444,825
Gesamtanzahl der Sterne
4,118
Durchschnittliche Sterne/Repo

Insgesamt 108 Repositories

1
ifixai-ai/iFixAi

Unabhängige Prüfung von KI-Agenten. Durchgeführt von Menschen oder dem Agenten selbst, um die wichtigste Frage in der KI-Agenten-Ökonomie zu beantworten: Tut der Agent das, was er tun soll? Mit iFixAi erhalten Sie diese Antwort in weniger als 120 Sekunden.

ifixai-ai
⭐ 46,592 Python 👤 ifixai-ai Organization 🕐 Aktualisiert 2026-11-20 📅 Erstellt 2026-04-27
2
langfuse/langfuse

🪢 Open-Source-Plattform für KI-Engineering: AI Gateway, Agenten-Observability, Evaluierungen sowie Prompt- und Skill-Management, basierend auf OpenTelemetry. Eine offene Plattform für jeden KI-Aufruf und jeden Agenten. Selbst hosten oder Langfuse Cloud nutzen.

langfuse
⭐ 37,696 TypeScript 👤 langfuse Organization 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2023-05-18
3
mlflow/mlflow

Die Open-Source-KI-Ingenieurplattform für Agenten, LLMs und ML-Modelle. MLflow ermöglicht es Teams aller Größen, produktionsreife KI-Anwendungen zu debuggen, auszuwerten, zu überwachen und zu optimieren, während Kosten kontrolliert und der Zugriff auf Modelle und Daten verwaltet wird.

mlflow
⭐ 28,920 Python 👤 mlflow Organization 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2018-06-05
4
promptfoo/promptfoo

Testen Sie Ihre Prompts, Agenten und RAGs. Red Teaming/Pentesting/Schwachstellenanalyse für KI. Vergleichen Sie die Leistung von GPT, Claude, Gemini, DeepSeek und mehr. Einfache deklarative Konfigurationen mit Befehlszeilen- und CI/CD-Integration. Wird von OpenAI und Anthropic verwendet.

promptfoo
⭐ 27,516 TypeScript 👤 promptfoo Organization 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2023-04-28
5
huggingface/open-r1

Vollständige Reproduktion von DeepSeek-R1

huggingface
⭐ 26,483 Python 👤 huggingface Organization 🕐 Aktualisiert 2026-10-26 📅 Erstellt 2025-01-24
6
comet-ml/opik

Debuggen, bewerten und überwachen Sie Ihre LLM-Anwendungen, RAG-Systeme und agentenbasierten Workflows mit umfassendem Tracing, automatisierten Bewertungen und produktionsreifen Dashboards.

comet-ml
⭐ 23,479 Java 👤 comet-ml Organization 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2023-05-10
7
openai/evals

Evals ist ein Framework zur Bewertung von LLMs und LLM-Systemen und ein Open-Source-Repository von Benchmarks.

openai
⭐ 19,776 Python 👤 openai Organization 🕐 Aktualisiert 2026-04-14 📅 Erstellt 2023-01-23
8
confident-ai/deepeval

Das LLM-Bewertungsframework

confident-ai
⭐ 19,585 Python 👤 confident-ai Organization 🕐 Aktualisiert 2026-11-19 📅 Erstellt 2023-08-10
9
Arize-ai/phoenix

KI-Beobachtbarkeit & Bewertung

Arize-ai
⭐ 12,368 Python 👤 Arize-ai Organization 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2022-11-09
10
NVIDIA/garak

der LLM-Schwachstellenscanner

NVIDIA
⭐ 10,122 Python 👤 NVIDIA Organization 🕐 Aktualisiert 2026-11-18 📅 Erstellt 2023-05-10
11
oumi-ai/oumi

Qwen, Gemma oder jedes offene agentische LLM/VLM ganz einfach feinabstimmen (SFT/RL), evaluieren und bereitstellen!

oumi-ai
⭐ 9,441 Python 👤 oumi-ai Organization 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2024-05-07
12
HKUDS/ClawWork

"ClawWork: OpenClaw als dein KI-Kollege - 💰 15K $ in 11 Stunden verdient"

HKUDS
⭐ 8,574 Python 👤 HKUDS Organization 🕐 Aktualisiert 2026-03-03 📅 Erstellt 2026-02-15
13
Tencent/AI-Infra-Guard

Eine Full-Stack-Plattform für KI-Red-Teaming, die KI-Ökosysteme durch Agent Scan, Skills Scan, MCP Scan, AI Infra Scan und die Bewertung von LLM-Jailbreaks schützt.

Tencent
⭐ 7,604 Python 👤 Tencent Organization 🕐 Aktualisiert 2026-11-20 📅 Erstellt 2024-12-25
14
gepa-ai/gepa

Optimieren Sie Prompts, Code und mehr mit KI-gestützter reflektiver Optimierung

gepa-ai
⭐ 7,523 Jupyter Notebook 👤 gepa-ai Organization 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2025-08-05
15
gkamradt/langchain-tutorials

Überblick und Anleitung zur LangChain-Bibliothek

gkamradt
⭐ 7,350 Jupyter Notebook 👤 gkamradt User 🕐 Aktualisiert 2024-08-05 📅 Erstellt 2023-02-13
16
simplescaling/s1

s1: Einfache Laufzeitskalierung

simplescaling
⭐ 6,656 Python 👤 simplescaling Organization 🕐 Aktualisiert 2025-06-25 📅 Erstellt 2025-02-01
17
jeinlee1991/chinese-llm-benchmark

NoneLinear - ReLE-Bewertung: Bewertung der Fähigkeiten chinesischer KI-Großmodelle (kontinuierliche Aktualisierung): Umfasst derzeit 374 Modelle, darunter kommerzielle Modelle wie ChatGPT, GPT-5.4, Google Gemini-3.1-pro, Claude-4.6, Ernie-X1.1, Ernie-5.0, Qwen3.6-max, Qwen3.6-plus, Baichuan, iFlytek Spark, SenseChat sowie Open-Source-Modelle wie Step3.5-flash, Kimi-k2.6, Ernie4.5, MiniMax-M2.7, DeepSeek-v4, Qwen3.6, Llama4, Zhipu GLM-5.1, MiMo-V2, LongCat, Gemma4, Mistral und weitere. Es bietet nicht nur ein Ranking, sondern auch eine Datenbank mit über 2 Millionen Modellfehlern, um der Community die Erforschung, Analyse und Verbesserung von KI-Großmodellen zu erleichtern.

jeinlee1991
⭐ 6,522 👤 jeinlee1991 User 🕐 Aktualisiert 2026-11-20 📅 Erstellt 2023-06-04
18
Q00/ouroboros

Agent OS: Der Agent wird von selbst intelligenter. Wir halten nur die Linie: interviewbasierte Auswahl, stufenweise Bewertung und ein budgetierter Evolutionszyklus. MCP-Server, 14 Laufzeitumgebungen: Claude Code, Codex CLI, Gemini CLI, OpenCode, Copilot, Kiro und mehr.

Q00
⭐ 6,385 Python 👤 Q00 User 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2026-01-14
19
Helicone/helicone

🧊 Open-Source LLM-Observability-Plattform. Eine Codezeile zum Überwachen, Bewerten und Experimentieren. YC W23 🍓

Helicone
⭐ 6,292 TypeScript 👤 Helicone Organization 🕐 Aktualisiert 2026-11-17 📅 Erstellt 2023-01-31
20
Giskard-AI/giskard-oss

🐢 Open-Source-Evaluierungs- und Testbibliothek für LLM-Agenten

Giskard-AI
⭐ 5,965 Python 👤 Giskard-AI Organization 🕐 Aktualisiert 2026-11-20 📅 Erstellt 2022-03-06
21
PacktPublishing/LLM-Engineers-Handbook

Der praktische Leitfaden für LLMs: Von den Grundlagen bis zur Bereitstellung fortschrittlicher LLM- und RAG-Apps auf AWS unter Anwendung von LLMOps-Best Practices

PacktPublishing
⭐ 5,438 Python 👤 PacktPublishing Organization 🕐 Aktualisiert 2026-04-22 📅 Erstellt 2024-04-09
22
going-doer/Paper2Code

Paper2Code: Automatisierung der Codegenerierung aus wissenschaftlichen Arbeiten im Bereich maschinelles Lernen

going-doer
⭐ 5,044 Python 👤 going-doer User 🕐 Aktualisiert 2026-03-25 📅 Erstellt 2025-04-25
23
EvolvingLMMs-Lab/lmms-eval

One-for-All Multimodales Evaluations-Toolkit für Text-, Bild-, Video- und Audio-Aufgaben

EvolvingLMMs-Lab
⭐ 4,501 Python 👤 EvolvingLMMs-Lab Organization 🕐 Aktualisiert 2026-11-20 📅 Erstellt 2024-03-07
24
hemansnation/AI-Engineer-Headquarters

Eine Sammlung wissenschaftlicher Methoden, Prozesse, Algorithmen und Systeme zum Erstellen von Geschichten und Modellen.

hemansnation
⭐ 3,782 Jupyter Notebook 👤 hemansnation User 🕐 Aktualisiert 2026-10-28 📅 Erstellt 2022-03-29
25
truera/trulens

Bewertung und Verfolgung von LLM-Experimenten und KI-Agenten

truera
⭐ 3,665 Python 👤 truera Organization 🕐 Aktualisiert 2026-11-20 📅 Erstellt 2020-11-02
26
lmnr-ai/lmnr

Laminar – Open-Source-Observability-Plattform, die speziell für KI-Agenten entwickelt wurde. YC S24.

lmnr-ai
⭐ 3,516 TypeScript 👤 lmnr-ai Organization 🕐 Aktualisiert 2026-11-20 📅 Erstellt 2024-08-29
27
openai/human-eval

Code für die Veröffentlichung "Evaluating Large Language Models Trained on Code"

openai
⭐ 3,431 Python 👤 openai Organization 🕐 Aktualisiert 2026-10-16 📅 Erstellt 2021-07-06
28
Sumanth077/ai-engineering-toolkit

Eine kuratierte Liste von über 100 Bibliotheken und Frameworks für KI-Ingenieure, die mit LLMs aufbauen

Sumanth077
⭐ 3,402 👤 Sumanth077 User 🕐 Aktualisiert 2026-05-11 📅 Erstellt 2025-08-06
29
UKGovernmentBEIS/inspect_ai

Inspect: Ein Framework für die Evaluierung großer Sprachmodelle

UKGovernmentBEIS
⭐ 3,302 Python 👤 UKGovernmentBEIS Organization 🕐 Aktualisiert 2026-11-20 📅 Erstellt 2023-11-14
30
FranxYao/chain-of-thought-hub

Benchmarking der komplexen Schlussfolgerungsfähigkeit großer Sprachmodelle mit Chain-of-Thought-Prompting

FranxYao
⭐ 2,762 Jupyter Notebook 👤 FranxYao User 🕐 Aktualisiert 2024-08-04 📅 Erstellt 2023-03-10
31
genieincodebottle/generative-ai

Umfassende Ressourcen zu Generative AI, einschließlich einer detaillierten Roadmap, Projekten, Anwendungsfällen, Vorbereitung auf Vorstellungsgespräche und Codierungsvorbereitung.

genieincodebottle
⭐ 2,675 Jupyter Notebook 👤 genieincodebottle User 🕐 Aktualisiert 2026-11-09 📅 Erstellt 2024-01-09
32
gkamradt/needle-in-a-haystack

Durchführen einfacher Abrufe von LLM-Modellen mit verschiedenen Kontextlängen zur Messung der Genauigkeit

gkamradt
⭐ 2,408 Jupyter Notebook 👤 gkamradt User 🕐 Aktualisiert 2026-06-08 📅 Erstellt 2023-11-11
33
future-agi/future-agi

Open-Source-End-to-End-Plattform zur Bewertung, Beobachtung und Verbesserung von LLM- und KI-Agent-Anwendungen. Tracing · Evals · Simulations · Datasets · Gateway · Guardrails. Selbst-hostbar. Apache 2.0.

future-agi
⭐ 2,284 Python 👤 future-agi Organization 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2026-04-23
34
break-into-data/ai-engineer-toolkit

Projekte & Ressourcen, die Ihnen helfen, ein besserer KI-Entwickler zu werden.

break-into-data
⭐ 2,189 TypeScript 👤 break-into-data Organization 🕐 Aktualisiert 2025-09-15 📅 Erstellt 2025-02-24
36
msoedov/agentic_security

Agentic LLM Vulnerability Scanner / KI-Red-Teaming-Kit 🧪

msoedov
⭐ 2,048 Python 👤 msoedov User 🕐 Aktualisiert 2026-11-19 📅 Erstellt 2024-04-11
37
ai-that-works/ai-that-works

🦄 KI, die funktioniert – jeden Dienstag 10 Uhr PST

ai-that-works
⭐ 2,016 TypeScript 👤 ai-that-works Organization 🕐 Aktualisiert 2026-11-19 📅 Erstellt 2025-04-02
39
centerforaisafety/hle

Der letzte Test der Menschheit

centerforaisafety
⭐ 1,749 Python 👤 centerforaisafety Organization 🕐 Aktualisiert 2026-09-23 📅 Erstellt 2025-01-23
41
lizhe2004/Awesome-LLM-RAG-Application

die Ressourcen über die auf LLM mit RAG-Muster basierende Anwendung

lizhe2004
⭐ 1,662 👤 lizhe2004 User 🕐 Aktualisiert 2026-10-12 📅 Erstellt 2023-12-27
42
huggingface/aisheets

Erstellen, anreichern und transformieren Sie Datensätze mit KI-Modellen ganz ohne Code

huggingface
⭐ 1,656 TypeScript 👤 huggingface Organization 🕐 Aktualisiert 2026-09-23 📅 Erstellt 2025-01-16
43
cyberark/FuzzyAI

Ein leistungsstarkes Werkzeug für automatisiertes LLM-Fuzzing. Es wurde entwickelt, um Entwicklern und Sicherheitsexperten bei der Identifizierung und Abmilderung potenzieller Jailbreaks in ihren LLM-APIs zu helfen.

cyberark
⭐ 1,611 Jupyter Notebook 👤 cyberark Organization 🕐 Aktualisiert 2026-02-06 📅 Erstellt 2024-12-03
44
sierra-research/tau-bench

Code und Daten für Tau-Bench

sierra-research
⭐ 1,514 Python 👤 sierra-research Organization 🕐 Aktualisiert 2026-03-18 📅 Erstellt 2024-06-06
45
safety-research/bloom

bloom - jedes Verhalten sofort bewerten 🌸🌱

safety-research
⭐ 1,429 Python 👤 safety-research Organization 🕐 Aktualisiert 2026-05-07 📅 Erstellt 2025-06-24
47
meridianlabs-ai/inspect_petri

Ein Agent zur Ausrichtungsprüfung, der in der Lage ist, Ausrichtungshypothesen schnell zu erkunden

meridianlabs-ai
⭐ 1,421 Python 👤 meridianlabs-ai Organization 🕐 Aktualisiert 2026-11-20 📅 Erstellt 2025-08-19
48
TIGER-AI-Lab/ClawBench

Open-Source-Benchmark für Browser-KI-Agenten bei alltäglichen Aufgaben.

TIGER-AI-Lab
⭐ 1,325 Python 👤 TIGER-AI-Lab Organization 🕐 Aktualisiert 2026-11-05 📅 Erstellt 2026-04-10
49
microsoft/prompty

Prompty macht es einfach, LLM-Prompts für Ihre KI-Anwendungen zu erstellen, zu verwalten, zu debuggen und zu bewerten. Prompty ist eine Anlageklasse und ein Format für LLM-Prompts, das zur Verbesserung der Beobachtbarkeit, Verständlichkeit und Portabilität für Entwickler entwickelt wurde.

microsoft
⭐ 1,288 Rust 👤 microsoft Organization 🕐 Aktualisiert 2026-11-09 📅 Erstellt 2024-04-22
50
langchain-ai/openevals

Fertige Evaluatoren für Ihre LLM-Apps

langchain-ai
⭐ 1,259 Python 👤 langchain-ai Organization 🕐 Aktualisiert 2026-11-18 📅 Erstellt 2025-02-08

Häufig gestellte Fragen

1

Welches ist das beliebteste #llm-evaluation-Repository auf GitHub?

Das am höchsten eingestufte Open-Source-#llm-evaluation-Projekt auf GitHub ist ifixai-ai/iFixAi mit 46,592 Sternen. Unabhängige Prüfung von KI-Agenten. Durchgeführt von Menschen oder dem Agenten selbst, um die wichtigste Frage in der KI-Agenten-Ökonomie zu beantworten: Tut der Agent das, was er tun soll? Mit iFixAi erhalten Sie diese Antwort in weniger als 120 Sekunden.

2

Welche Programmiersprachen werden in #llm-evaluation-Repositories am häufigsten verwendet?

Unter den am höchsten eingestuften #llm-evaluation-Projekten auf GitHub sind Python, Jupyter Notebook, TypeScript, Java die am häufigsten verwendeten Programmiersprachen.

3

Wie wird das Ranking der #llm-evaluation-Repositories berechnet?

Wir verfolgen 108 aktive Open-Source-Repositories, die mit #llm-evaluation getaggt sind (500+ Sterne), mit insgesamt 444,825 Sternen und durchschnittlich 4,118 Sternen pro Repository. Die Rankings werden täglich über die GitHub-API aktualisiert.