Git Stars Git Stars

#evaluation Repositories

Entdecke 89 aktive Open-Source-GitHub-Repositories, die mit #evaluation getaggt sind und insgesamt 369,872 Sterne gesammelt haben (durchschnittlich 4,155 Sterne pro Projekt). Spitzenreiter in diesem Themenbereich ist lm-sys/FastChat mit 39,550 Sternen.

89
Gesamtzahl der Repositories
369,872
Gesamtanzahl der Sterne
4,155
Durchschnittliche Sterne/Repo

Insgesamt 89 Repositories

1
lm-sys/FastChat

Eine offene Plattform für das Training, die Bereitstellung und die Bewertung großer Sprachmodelle. Veröffentlichungs-Repository für Vicuna und Chatbot Arena.

lm-sys
⭐ 39,550 Python 👤 lm-sys Organization 🕐 Aktualisiert 2026-05-01 📅 Erstellt 2023-03-19
2
Tencent/WeKnora

Open-Source-LLM-Wissensplattform: Verwandeln Sie Rohdokumente in eine abfragbare RAG, einen autonomen Reasoning-Agenten und eine selbstpflegende Wiki.

Tencent
⭐ 37,938 Go 👤 Tencent Organization 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2025-07-22
3
langfuse/langfuse

🪢 Open-Source-Plattform für KI-Engineering: AI Gateway, Agenten-Observability, Evaluierungen sowie Prompt- und Skill-Management, basierend auf OpenTelemetry. Eine offene Plattform für jeden KI-Aufruf und jeden Agenten. Selbst hosten oder Langfuse Cloud nutzen.

langfuse
⭐ 37,696 TypeScript 👤 langfuse Organization 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2023-05-18
4
mlflow/mlflow

Die Open-Source-KI-Ingenieurplattform für Agenten, LLMs und ML-Modelle. MLflow ermöglicht es Teams aller Größen, produktionsreife KI-Anwendungen zu debuggen, auszuwerten, zu überwachen und zu optimieren, während Kosten kontrolliert und der Zugriff auf Modelle und Daten verwaltet wird.

mlflow
⭐ 28,920 Python 👤 mlflow Organization 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2018-06-05
5
promptfoo/promptfoo

Testen Sie Ihre Prompts, Agenten und RAGs. Red Teaming/Pentesting/Schwachstellenanalyse für KI. Vergleichen Sie die Leistung von GPT, Claude, Gemini, DeepSeek und mehr. Einfache deklarative Konfigurationen mit Befehlszeilen- und CI/CD-Integration. Wird von OpenAI und Anthropic verwendet.

promptfoo
⭐ 27,516 TypeScript 👤 promptfoo Organization 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2023-04-28
6
comet-ml/opik

Debuggen, bewerten und überwachen Sie Ihre LLM-Anwendungen, RAG-Systeme und agentenbasierten Workflows mit umfassendem Tracing, automatisierten Bewertungen und produktionsreifen Dashboards.

comet-ml
⭐ 23,479 Java 👤 comet-ml Organization 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2023-05-10
7
vibrantlabsai/ragas

Beschleunigen Sie Ihre LLM-Anwendungsbewertungen 🚀

vibrantlabsai
⭐ 16,395 Python 👤 vibrantlabsai Organization 🕐 Aktualisiert 2026-11-14 📅 Erstellt 2023-05-08
8
open-compass/opencompass

OpenCompass ist eine Plattform zur Bewertung großer Sprachmodelle (LLMs), die eine breite Palette von Modellen von OpenAI, Anthropic, Gemini, Qwen, GLM, DeepSeek usw. über mehr als 100 Datensätze hinweg unterstützt. Diese decken Wissen, Schlussfolgern, Programmierung, Wissenschaft, Sprache, lange Kontexte und Sicherheit ab.

open-compass
⭐ 7,610 Python 👤 open-compass Organization 🕐 Aktualisiert 2026-11-18 📅 Erstellt 2023-06-15
9
alchaincyf/darwin-skill

达尔文.skill —— Ein System, das deine Skills unendlich evolviert: Bewertung→Verbesserung→Test→Behalten oder Rollback | Autoresearch-inspirierte autonome Skill-Optimierung für Claude Code. Bewerten, verbessern, testen, behalten oder zurücksetzen.

alchaincyf
⭐ 7,015 HTML 👤 alchaincyf User 🕐 Aktualisiert 2026-11-18 📅 Erstellt 2026-04-13
10
Helicone/helicone

🧊 Open-Source LLM-Observability-Plattform. Eine Codezeile zum Überwachen, Bewerten und Experimentieren. YC W23 🍓

Helicone
⭐ 6,292 TypeScript 👤 Helicone Organization 🕐 Aktualisiert 2026-11-17 📅 Erstellt 2023-01-31
11
coze-dev/coze-loop

Next-Generation KI-Agenten-Optimierungsplattform: Cozeloop adressiert Herausforderungen in der KI-Agentenentwicklung, indem es umfassende Managementfunktionen für den gesamten Lebenszyklus von der Entwicklung, dem Debugging und der Evaluierung bis zur Überwachung bietet.

coze-dev
⭐ 5,799 Go 👤 coze-dev Organization 🕐 Aktualisiert 2026-11-17 📅 Erstellt 2025-06-24
12
Kiln-AI/Kiln

KI-Systeme erstellen, bewerten und optimieren. Umfasst Evals (Bewertungen), RAG, Agenten, Feinabstimmung (Fine-Tuning), Generierung synthetischer Daten, Dataset-Management, MCP und mehr.

Kiln-AI
⭐ 5,286 Python 👤 Kiln-AI Organization 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2024-07-23
13
langwatch/langwatch

Open-Source-Agentenobservability und -Evaluierung für KI-Plattformteams. Verfolgen, testen, routen und verwalten Sie jeden Agenten und Programmierassistenten im Unternehmen.

langwatch
⭐ 5,050 TypeScript 👤 langwatch Organization 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2023-09-09
14
EvolvingLMMs-Lab/lmms-eval

One-for-All Multimodales Evaluations-Toolkit für Text-, Bild-, Video- und Audio-Aufgaben

EvolvingLMMs-Lab
⭐ 4,501 Python 👤 EvolvingLMMs-Lab Organization 🕐 Aktualisiert 2026-11-20 📅 Erstellt 2024-03-07
15
open-compass/VLMEvalKit

Open-Source-Evaluierungstoolkit für große Multimodale Modelle (LMMs), unterstützt 220+ LMMs, 80+ Benchmarks

open-compass
⭐ 4,499 Python 👤 open-compass Organization 🕐 Aktualisiert 2026-11-19 📅 Erstellt 2023-12-01
16
MichaelGrupp/evo

Python-Paket zur Bewertung von Odometrie und SLAM

MichaelGrupp
⭐ 4,367 Python 👤 MichaelGrupp User 🕐 Aktualisiert 2026-11-15 📅 Erstellt 2017-09-13
17
NVIDIA/SkillEvaluator

Mehrstufiges Framework zur Bewertung von Fähigkeiten und Plugins für KI-Agenten mit Qualitätsprüfungen, Sicherheits-Scans, Kompatibilitätsprüfungen für die Testumgebung, Erkennung semantischer Überschneidungen, Generierung synthetischer Evaluationsdatensätze und Live-Evaluation von Agenten, die misst, wie sich Fähigkeiten auf das Verhalten des Agenten auswirken. Enthält wiederverwendbare CI-Vorlagen, mit denen sich alle Prüfungen in jedes Repository integrieren lassen.

NVIDIA
⭐ 4,300 Python 👤 NVIDIA Organization 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2026-06-24
18
modelscope/evalscope

Ein optimiertes und anpassbares Framework für die effiziente Bewertung und Leistungsmessung großer Modelle (LLM, VLM, AIGC).

modelscope
⭐ 3,715 Python 👤 modelscope Organization 🕐 Aktualisiert 2026-11-20 📅 Erstellt 2023-12-07
19
embeddings-benchmark/mteb

MTEB: Modernste Bewertung von Embeddings über Sprachen und Modalitäten hinweg

embeddings-benchmark
⭐ 3,519 Python 👤 embeddings-benchmark Organization 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2022-04-05
20
lmnr-ai/lmnr

Laminar – Open-Source-Observability-Plattform, die speziell für KI-Agenten entwickelt wurde. YC S24.

lmnr-ai
⭐ 3,516 TypeScript 👤 lmnr-ai Organization 🕐 Aktualisiert 2026-11-20 📅 Erstellt 2024-08-29
21
CLUEbenchmark/SuperCLUE

SuperCLUE: Ein umfassender Benchmark für generelle chinesische große Modelle | Ein Benchmark für Basismodelle im Chinesischen

CLUEbenchmark
⭐ 3,308 👤 CLUEbenchmark Organization 🕐 Aktualisiert 2026-02-06 📅 Erstellt 2023-05-02
22
viebel/klipse

Klipse ist ein JavaScript-Plugin zum Einbetten interaktiver Code-Snippets in Tech-Blogs.

viebel
⭐ 3,134 HTML 👤 viebel User 🕐 Aktualisiert 2024-10-01 📅 Erstellt 2015-11-19
23
ianarawjo/ChainForge

Eine quelloffene visuelle Programmierumgebung zum Testen von Prompts für LLMs.

ianarawjo
⭐ 3,044 TypeScript 👤 ianarawjo User 🕐 Aktualisiert 2026-10-29 📅 Erstellt 2023-03-26
24
microsoft/promptbench

Ein einheitlicher Bewertungsrahmen für große Sprachmodelle

microsoft
⭐ 2,786 Python 👤 microsoft Organization 🕐 Aktualisiert 2026-02-20 📅 Erstellt 2023-06-13
25
yaojingang/yao-meta-skill

YAO = KI-Ergebnisse erzielen. Ein strenges System für Engineering, Evaluierung, Governance und Portabilität wiederverwendbarer Agentenfähigkeiten.

yaojingang
⭐ 2,739 Python 👤 yaojingang User 🕐 Aktualisiert 2026-11-09 📅 Erstellt 2026-03-31
26
huggingface/lighteval

Lighteval ist Ihr All-in-One-Toolkit zur Bewertung von LLMs über mehrere Backends hinweg

huggingface
⭐ 2,587 Python 👤 huggingface Organization 🕐 Aktualisiert 2026-11-18 📅 Erstellt 2024-01-26
27
huggingface/evaluate

🤗 Evaluate: Eine Bibliothek zur einfachen Bewertung von Machine-Learning-Modellen und Datensätzen.

huggingface
⭐ 2,498 Python 👤 huggingface Organization 🕐 Aktualisiert 2026-11-16 📅 Erstellt 2022-03-30
28
1517005260/graph-rag-agent

RAG fertigstellen: GraphRAG, LightRAG und Neo4j-llm-graph-builder zur Wissensgraphenerstellung und -suche manuell zusammengefügt und integriert; DeepSearch-Technologie zur Inferenz privater Domänen-RAG integriert; selbst erstellter Bewertungsrahmen für GraphRAG.

1517005260
⭐ 2,355 Python 👤 1517005260 User 🕐 Aktualisiert 2025-11-05 📅 Erstellt 2025-02-12
29
uptrain-ai/uptrain

UpTrain ist eine Open-Source-Plattform, die darauf abzielt, generative KI-Anwendungen zu bewerten und zu verbessern. Wir bieten Noten für über 20 vorkonfigurierte Prüfungen (die Sprach-, Code- und Embedding-Anwendungsfälle abdecken), führen Ursachenanalysen bei Fehlerfällen durch und geben Einblicke, wie diese behoben werden können.

uptrain-ai
⭐ 2,337 Python 👤 uptrain-ai Organization 🕐 Aktualisiert 2024-08-18 📅 Erstellt 2022-11-07
30
MCPJam/inspector

Test- und Bewertungsplattform zum Chatten, Inspizieren und Debuggen von MCP-Servern, MCP-Apps und ChatGPT-Apps.

MCPJam
⭐ 2,331 TypeScript 👤 MCPJam Organization 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2025-05-23
31
Sahir619/fable-method

Der Fable-Workflow: wie Claude Fable 5 funktionierte, destilliert in Fähigkeiten, die jedes Modell ausführen kann, mit der Bewertung, die es ehrlich hält. Denken / handeln / beweisen.

Sahir619
⭐ 2,324 Python 👤 Sahir619 User 🕐 Aktualisiert 2026-10-03 📅 Erstellt 2026-07-06
32
Xnhyacinth/Awesome-LLM-Long-Context-Modeling

📰 Must-read-Artikel und Blogs über LLM-basierte Long-Context-Modellierung 🔥

Xnhyacinth
⭐ 2,191 👤 Xnhyacinth User 🕐 Aktualisiert 2026-11-13 📅 Erstellt 2023-09-17
33
huggingface/evaluation-guidebook

Teilen von praktischen Einblicken und theoretischem Wissen über LLM-Evaluierung, die wir bei der Verwaltung der Open LLM Leaderboard und der Entwicklung von lighteval gesammelt haben!

huggingface
⭐ 2,166 Jupyter Notebook 👤 huggingface Organization 🕐 Aktualisiert 2025-12-03 📅 Erstellt 2024-10-09
34
ContinualAI/avalanche

Avalanche: eine End-to-End-Bibliothek für kontinuierliches Lernen basierend auf PyTorch.

ContinualAI
⭐ 2,054 Python 👤 ContinualAI Organization 🕐 Aktualisiert 2025-03-11 📅 Erstellt 2020-03-05
35
Cloud-CV/EvalAI

:cloud: :rocket: :bar_chart: :chart_with_upwards_trend: Bewertung des Standes der Technik in der KI

Cloud-CV
⭐ 2,049 Python 👤 Cloud-CV Organization 🕐 Aktualisiert 2026-11-14 📅 Erstellt 2016-10-21
36
tatsu-lab/alpaca_eval

Ein automatischer Evaluator für instruktionsfolgende Sprachmodelle. Vom Menschen validiert, qualitativ hochwertig, günstig und schnell.

tatsu-lab
⭐ 2,010 Jupyter Notebook 👤 tatsu-lab Organization 🕐 Aktualisiert 2025-08-09 📅 Erstellt 2023-05-25
37
trpc-group/trpc-agent-go

Ein Go-Framework für den Aufbau von produktiven Agentensystemen mit Graph-Workflows, Tools, Speicher, A2A, AG-UI, MCP, Evaluierung und Beobachtbarkeit.

trpc-group
⭐ 1,940 Go 👤 trpc-group Organization 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2025-05-14
38
xinshuoweng/AB3DMOT

(IROS 2020, ECCVW 2020) Offizielle Python-Implementierung für „3D Multi-Object Tracking: A Baseline and New Evaluation Metrics“

xinshuoweng
⭐ 1,805 Python 👤 xinshuoweng User 🕐 Aktualisiert 2024-04-03 📅 Erstellt 2019-06-19
39
onestardao/WFGY

WFGY steuert auf WFGY 5.0 Polaris Protocol zu, eine große Open-Source-Veröffentlichung für KI-Reasoning, RAG, Agents und reale Workflows. Enthält Problem Map, Global Debug Card, WFGY 4.0 und das CFV-Easter Egg.

onestardao
⭐ 1,804 Jupyter Notebook 👤 onestardao User 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2025-06-04
40
SmartFlowAI/EmoLLM

Psychische Gesundheitsmodelle (LLM x Psychische Gesundheit), Vor- und Nachtraining & Datensatz & Evaluierung & Bereitstellung & RAG, mit Modellen der Reihen InternLM / Qwen / Baichuan / DeepSeek / Mixtral / LLama / GLM

SmartFlowAI
⭐ 1,797 Python 👤 SmartFlowAI Organization 🕐 Aktualisiert 2026-06-18 📅 Erstellt 2024-01-11
41
deepsense-ai/ragbits

Bausteine für die schnelle Entwicklung von GenAI-Anwendungen

deepsense-ai
⭐ 1,678 Python 👤 deepsense-ai Organization 🕐 Aktualisiert 2026-05-18 📅 Erstellt 2024-09-02
42
MLGroupJLU/LLM-eval-survey

Die offizielle GitHub-Seite für die Umfragearbeit "A Survey on Evaluation of Large Language Models".

MLGroupJLU
⭐ 1,615 👤 MLGroupJLU User 🕐 Aktualisiert 2026-11-18 📅 Erstellt 2023-07-02
43
sepandhaghighi/pycm

Bibliothek für Multi-Class-Confusion-Matrix in Python

sepandhaghighi
⭐ 1,507 Python 👤 sepandhaghighi User 🕐 Aktualisiert 2026-11-16 📅 Erstellt 2018-01-22
44
Maluuba/nlg-eval

Evaluierungscode für verschiedene unüberwachte automatisierte Metriken für die Natural Language Generation.

Maluuba
⭐ 1,391 Python 👤 Maluuba Organization 🕐 Aktualisiert 2024-08-20 📅 Erstellt 2017-06-27
45
NVIDIA-NeMo/Gym

Modelle und Agenten mit Umgebungen evaluieren und verbessern

NVIDIA-NeMo
⭐ 1,347 Python 👤 NVIDIA-NeMo Organization 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2025-08-25
46
ScalingIntelligence/KernelBench

KernelBench: Können LLMs GPU-Kernel schreiben? - Benchmark + Toolkit mit Torch -> CUDA (+ weitere DSLs)

ScalingIntelligence
⭐ 1,336 Jupyter Notebook 👤 ScalingIntelligence Organization 🕐 Aktualisiert 2026-03-24 📅 Erstellt 2024-10-25
47
TIGER-AI-Lab/ClawBench

Open-Source-Benchmark für Browser-KI-Agenten bei alltäglichen Aufgaben.

TIGER-AI-Lab
⭐ 1,325 Python 👤 TIGER-AI-Lab Organization 🕐 Aktualisiert 2026-11-05 📅 Erstellt 2026-04-10
48
abo-abo/lispy

Kurzes und bündiges LISP-Bearbeiten

abo-abo
⭐ 1,297 Emacs Lisp 👤 abo-abo User 🕐 Aktualisiert 2026-01-23 📅 Erstellt 2014-01-10
49
EthicalML/xai

XAI - Eine eXplainability-Toolbox für maschinelles Lernen

EthicalML
⭐ 1,270 Python 👤 EthicalML Organization 🕐 Aktualisiert 2025-11-29 📅 Erstellt 2019-01-11
50
plurai-ai/intellagent

Ein Framework für die umfassende Diagnose und Optimierung von Agenten mittels simulierter, realistischer synthetischer Interaktionen

plurai-ai
⭐ 1,266 Python 👤 plurai-ai Organization 🕐 Aktualisiert 2026-09-14 📅 Erstellt 2024-10-28

Häufig gestellte Fragen

1

Welches ist das beliebteste #evaluation-Repository auf GitHub?

Das am höchsten eingestufte Open-Source-#evaluation-Projekt auf GitHub ist lm-sys/FastChat mit 39,550 Sternen. Eine offene Plattform für das Training, die Bereitstellung und die Bewertung großer Sprachmodelle. Veröffentlichungs-Repository für Vicuna und Chatbot Arena.

2

Welche Programmiersprachen werden in #evaluation-Repositories am häufigsten verwendet?

Unter den am höchsten eingestuften #evaluation-Projekten auf GitHub sind Python, TypeScript, Jupyter Notebook, Go die am häufigsten verwendeten Programmiersprachen.

3

Wie wird das Ranking der #evaluation-Repositories berechnet?

Wir verfolgen 89 aktive Open-Source-Repositories, die mit #evaluation getaggt sind (500+ Sterne), mit insgesamt 369,872 Sternen und durchschnittlich 4,155 Sternen pro Repository. Die Rankings werden täglich über die GitHub-API aktualisiert.