Git Stars Git Stars

#evaluation Repositories

89
Gesamtzahl der Repositories
369,872
Gesamtanzahl der Sterne
4,155
Durchschnittliche Sterne/Repo

Insgesamt 89 Repositories

51
chunxiaoxx/nautilus-compass

Offene Gedächtnis- und Zuverlässigkeitsschicht für KI-Agenten + unabhängige Bewertung/Verifizierung (NACRE-Judge, caliber-bench-Meta-Benchmark, vorab registrierte Kriterien) — von Nautilus Platform

chunxiaoxx
⭐ 1,260 Python 👤 chunxiaoxx User 🕐 Aktualisiert 2026-11-19 📅 Erstellt 2026-04-27
52
run-house/kubetorch

Verteilen und Ausführen von KI-Workloads auf Kubernetes auf magische Weise in Python, wie PyTorch für die ML-Infrastruktur.

run-house
⭐ 1,228 Python 👤 run-house Organization 🕐 Aktualisiert 2026-05-29 📅 Erstellt 2022-05-10
53
google/fuzzbench

FuzzBench - Fuzzer-Benchmarking als Service.

google
⭐ 1,211 Python 👤 google Organization 🕐 Aktualisiert 2026-01-26 📅 Erstellt 2020-02-04
54
toshas/torch-fidelity

Hochauflösende Leistungsmetriken für generative Modelle in PyTorch

toshas
⭐ 1,205 Python 👤 toshas User 🕐 Aktualisiert 2026-10-25 📅 Erstellt 2020-04-23
55
ncalc/ncalc

NCalc ist eine schnelle und leichte Bibliothek zur Auswertung von Ausdrücken für .NET, die für Flexibilität und hohe Leistung entwickelt wurde. Sie unterstützt eine breite Palette mathematischer und logischer Operationen.

ncalc
⭐ 1,172 C# 👤 ncalc Organization 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2017-11-15
56
xinxuxin/keystone-bench

Ein Benchmark für klinische Entscheidungen und Evidenz: die eine Tatsache herausarbeiten, auf der eine Antwort beruht, und prüfen, ob sich die Handlung des Assistenten entsprechend der Evidenz verändert. Auf HealthBench aufgebaut.

xinxuxin
⭐ 1,130 Python 👤 xinxuxin User 🕐 Aktualisiert 2026-10-19 📅 Erstellt 2026-09-07
57
Jwuthri/Tracely-ai

Trace-natives CI/CD für KI-Agenten – Produktionsfehler werden zu Regressionstests, die den PR blockieren. Automatisch erkennen, clustern, in hermetische Testfälle einfrieren und in der CI für 0 $ wiedergeben.

Jwuthri
⭐ 1,122 Python 👤 Jwuthri User 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2026-06-03
58
agentscope-ai/OpenJudge

OpenJudge: Ein einheitlicher Rahmen für ganzheitliche Bewertung und Qualitätsbelohnungen

agentscope-ai
⭐ 1,121 Python 👤 agentscope-ai Organization 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2025-07-08
59
prometheus-eval/prometheus-eval

Bewerten Sie die Antwort Ihres LLM mit Prometheus und GPT4 💯

prometheus-eval
⭐ 1,087 Python 👤 prometheus-eval Organization 🕐 Aktualisiert 2025-04-25 📅 Erstellt 2024-04-18
60
langchain-ai/langsmith-sdk

LangSmith Client SDK-Implementierungen

langchain-ai
⭐ 1,082 Python 👤 langchain-ai Organization 🕐 Aktualisiert 2026-10-16 📅 Erstellt 2023-05-30
61
MAC-AutoML/MindPipe

Ein leistungsstarkes Framework zur Modellkompression für LLMs und LVLMs, angepasst für NVIDIA GPUs und Huawei Ascend NPUs.

MAC-AutoML
⭐ 1,013 Python 👤 MAC-AutoML Organization 🕐 Aktualisiert 2026-08-11 📅 Erstellt 2026-01-22
62
nolabs-ai/deepfabric

Hochwertige Synthetika in einer einzigen Pipeline generieren, trainieren, messen und bewerten

nolabs-ai
⭐ 896 Python 👤 nolabs-ai Organization 🕐 Aktualisiert 2026-11-13 📅 Erstellt 2024-10-25
63
PRBonn/semantic-kitti-api

SemanticKITTI API zur Visualisierung des Datensatzes, Verarbeitung von Daten und Bewertung der Ergebnisse.

PRBonn
⭐ 895 Python 👤 PRBonn Organization 🕐 Aktualisiert 2025-04-03 📅 Erstellt 2019-07-24
64
suyoumo/ClawProBench

ClawProBench ist ein Benchmark-Harness mit Priorität auf Live-Tests zur Bewertung von LLM-Agenten im OpenClaw-Runtime mit deterministischer Bewertung und Zuverlässigkeit bei wiederholten Tests.

suyoumo
⭐ 829 Rust 👤 suyoumo User 🕐 Aktualisiert 2026-08-25 📅 Erstellt 2025-03-02
65
PaesslerAG/gval

Auswertung von Ausdrücken in Golang

PaesslerAG
⭐ 819 Go 👤 PaesslerAG Organization 🕐 Aktualisiert 2026-09-13 📅 Erstellt 2017-09-27
66
robocurve/inspect-robots

Open-Source-Evaluierungen für physische KI. Führe beliebige LLMs/VLAs auf beliebigen Roboterarmen oder humanoiden Robotern gegen beliebige reale oder simulierte Benchmarks aus.

robocurve
⭐ 776 Python 👤 robocurve Organization 🕐 Aktualisiert 2026-11-11 📅 Erstellt 2026-06-26
67
angular/web-codegen-scorer

Web Codegen Scorer ist ein Tool zur Bewertung der Qualität von Webcode, der von LLMs generiert wird.

angular
⭐ 774 TypeScript 👤 angular Organization 🕐 Aktualisiert 2026-05-05 📅 Erstellt 2025-09-04
68
IntelLabs/RAG-FiT

Framework zur Verbesserung von LLMs für RAG-Aufgaben mittels Fine-Tuning.

IntelLabs
⭐ 766 Python 👤 IntelLabs Organization 🕐 Aktualisiert 2026-06-08 📅 Erstellt 2024-07-23
69
ModelTC/LightCompress

[EMNLP 2024 & AAAI 2026] Ein leistungsstarkes Toolkit zum Komprimieren großer Modelle, einschließlich LLMs, VLMs und Video-Generierungsmodellen.

ModelTC
⭐ 755 Python 👤 ModelTC Organization 🕐 Aktualisiert 2026-05-14 📅 Erstellt 2024-03-06
70
comet-ml/opik-openclaw

🦞 Offizielles Plugin für OpenClaw, das Agent-Traces nach Opik exportiert. Überwachen Sie Agent-Verhalten, Kosten, Tokens, Fehler und mehr.

comet-ml
⭐ 723 TypeScript 👤 comet-ml Organization 🕐 Aktualisiert 2026-11-20 📅 Erstellt 2026-03-02
71
AgentSafeLabs/safelabs-eval

Red-Team- und Evaluierungsframework für KI-Agenten, basierend auf einer von OWASP inspirierten ASI01–ASI10-Taxonomie

AgentSafeLabs
⭐ 713 Python 👤 AgentSafeLabs Organization 🕐 Aktualisiert 2026-11-06 📅 Erstellt 2026-05-25
72
bochinski/iou-tracker

Python-Implementierung des IOU Trackers

bochinski
⭐ 701 Python 👤 bochinski User 🕐 Aktualisiert 2026-06-14 📅 Erstellt 2017-07-25
73
google-deepmind/long-form-factuality

Benchmarking der Faktenhaltigkeit langer Texte in großen Sprachmodellen. Originalcode für unsere Arbeit "Long-form factuality in large language models".

google-deepmind
⭐ 698 Python 👤 google-deepmind Organization 🕐 Aktualisiert 2026-06-18 📅 Erstellt 2024-03-25
74
AmenRa/ranx

⚡️Eine blitzschnelle Python-Bibliothek für Ranking-Bewertung, -Vergleich und -Fusion 🐍

AmenRa
⭐ 691 Python 👤 AmenRa User 🕐 Aktualisiert 2025-08-07 📅 Erstellt 2020-06-02
75
onejune2018/Awesome-LLM-Eval

Awesome-LLM-Eval: eine kuratierte Liste von Tools, Datensätzen/Benchmarks, Demos, Bestenlisten, Papern, Docs und Modellen, hauptsächlich für die Evaluierung von LLMs. Eine kuratierte Liste von Tools, Benchmark/Daten, Demos, Ranglisten und großen Modellen, die sich hauptsächlich an die Bewertung von Basis-Large Models richtet und darauf abzielt, die technologischen Grenzen der generativen KI zu erforschen.

onejune2018
⭐ 661 👤 onejune2018 User 🕐 Aktualisiert 2025-11-24 📅 Erstellt 2023-04-26
76
run-llama/ParseBench

ParseBench - Ein Benchmark für die Dokumentenanalyse für KI-Agenten

run-llama
⭐ 650 Python 👤 run-llama Organization 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2026-04-10
77
ucinlp/autoprompt

AutoPrompt: Automatische Prompt-Konstruktion für Masked Language Models.

ucinlp
⭐ 643 Python 👤 ucinlp Organization 🕐 Aktualisiert 2026-09-02 📅 Erstellt 2020-03-01
78
chrisliu298/awesome-llm-unlearning

Ein Ressourcen-Repository für maschinelles Unlearning in großen Sprachmodellen

chrisliu298
⭐ 640 👤 chrisliu298 User 🕐 Aktualisiert 2026-10-06 📅 Erstellt 2024-03-27
79
onyx-dot-app/EnterpriseRAG-Bench

Datensatz und Benchmark für RAG auf unternehmensinternen Dokumenten.

onyx-dot-app
⭐ 639 👤 onyx-dot-app Organization 🕐 Aktualisiert 2026-09-03 📅 Erstellt 2026-02-19
80
HowieHwong/TrustLLM

[ICML 2024] TrustLLM: Bewertung der Vertrauenswürdigkeit von LLMs hinsichtlich Wahrhaftigkeit, Sicherheit, Fairness, Robustheit, Datenschutz und Ethik. Python-/CLI-Toolkit für lokale Modelle, kompatible APIs und die Orchestrierung von KI-Agenten.

HowieHwong
⭐ 635 Python 👤 HowieHwong User 🕐 Aktualisiert 2026-10-04 📅 Erstellt 2023-12-23
81
tecnickcom/tcexam

TCExam ist ein CBA-System (Computer-Based Assessment) (e-Exam, CBT - Computer Based Testing) für Universitäten, Schulen und Unternehmen, das Pädagogen und Trainern ermöglicht, Umfragen, Quizze, Tests und Prüfungen zu erstellen, zu planen, durchzuführen und zu berichten.

tecnickcom
⭐ 634 PHP 👤 tecnickcom Organization 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2013-04-15
82
codingseb/ExpressionEvaluator

Ein einfacher Mathematik- und Pseudo-C#-Ausdrucksauswertung in einer C#-Datei. Kann auch kleine C#-ähnliche Skripte ausführen.

codingseb
⭐ 630 C# 👤 codingseb User 🕐 Aktualisiert 2025-09-08 📅 Erstellt 2017-03-15
83
danthedeckie/simpleeval

Einfacher, sicherer, sandboxed, erweiterbarer Ausdrucksauswerter für Python

danthedeckie
⭐ 618 Python 👤 danthedeckie User 🕐 Aktualisiert 2026-10-25 📅 Erstellt 2013-12-03
84
DocAILab/XRAG

XRAG: eXamining the Core – Benchmarking grundlegender Komponentenmodule in der fortgeschrittenen Retrieval-Augmented Generation

DocAILab
⭐ 612 Python 👤 DocAILab Organization 🕐 Aktualisiert 2026-11-01 📅 Erstellt 2024-09-07
85
MMMU-Benchmark/MMMU

Dieses Repository enthält den Evaluierungscode für das Paper „MMMU: A Massive Multi-discipline Multimodal Understanding and Reasoning Benchmark for Expert AGI“

MMMU-Benchmark
⭐ 601 Python 👤 MMMU-Benchmark Organization 🕐 Aktualisiert 2026-11-13 📅 Erstellt 2023-11-23
86
jkkummerfeld/text2sql-data

Eine Sammlung von Datensätzen, die Fragen mit SQL-Abfragen paaren.

jkkummerfeld
⭐ 587 Python 👤 jkkummerfeld User 🕐 Aktualisiert 2025-03-03 📅 Erstellt 2018-05-11
87
GrumpyZhou/image-matching-toolbox

Dies ist ein Toolbox-Repository zur Unterstützung der Evaluierung verschiedener Methoden, die Bildabgleiche aus einem Bildpaar durchführen.

GrumpyZhou
⭐ 586 Jupyter Notebook 👤 GrumpyZhou User 🕐 Aktualisiert 2024-04-29 📅 Erstellt 2020-11-24
88
facebookresearch/meta-agents-research-environments

Meta Agents Research Environments ist eine umfassende Plattform zur Evaluierung von KI-Agenten in dynamischen, realistischen Szenarien. Im Gegensatz zu statischen Benchmarks führt diese Plattform sich entwickelnde Umgebungen ein, in denen Agenten ihre Strategien anpassen müssen, sobald neue Informationen verfügbar werden, was die Herausforderungen der realen Welt widerspiegelt.

facebookresearch
⭐ 581 Python 👤 facebookresearch Organization 🕐 Aktualisiert 2026-09-30 📅 Erstellt 2025-09-11
89
SeekingDream/Static-to-Dynamic-LLMEval

Das offizielle GitHub-Repository des Papers „Recent advances in large language model benchmarks against data contamination: From static to dynamic evaluation“

SeekingDream
⭐ 500 👤 SeekingDream User 🕐 Aktualisiert 2026-09-28 📅 Erstellt 2025-02-21