#evaluation Repositories
Insgesamt 89 Repositories
Offene Gedächtnis- und Zuverlässigkeitsschicht für KI-Agenten + unabhängige Bewertung/Verifizierung (NACRE-Judge, caliber-bench-Meta-Benchmark, vorab registrierte Kriterien) — von Nautilus Platform
Verteilen und Ausführen von KI-Workloads auf Kubernetes auf magische Weise in Python, wie PyTorch für die ML-Infrastruktur.
NCalc ist eine schnelle und leichte Bibliothek zur Auswertung von Ausdrücken für .NET, die für Flexibilität und hohe Leistung entwickelt wurde. Sie unterstützt eine breite Palette mathematischer und logischer Operationen.
Ein Benchmark für klinische Entscheidungen und Evidenz: die eine Tatsache herausarbeiten, auf der eine Antwort beruht, und prüfen, ob sich die Handlung des Assistenten entsprechend der Evidenz verändert. Auf HealthBench aufgebaut.
Trace-natives CI/CD für KI-Agenten – Produktionsfehler werden zu Regressionstests, die den PR blockieren. Automatisch erkennen, clustern, in hermetische Testfälle einfrieren und in der CI für 0 $ wiedergeben.
OpenJudge: Ein einheitlicher Rahmen für ganzheitliche Bewertung und Qualitätsbelohnungen
Ein leistungsstarkes Framework zur Modellkompression für LLMs und LVLMs, angepasst für NVIDIA GPUs und Huawei Ascend NPUs.
Hochwertige Synthetika in einer einzigen Pipeline generieren, trainieren, messen und bewerten
SemanticKITTI API zur Visualisierung des Datensatzes, Verarbeitung von Daten und Bewertung der Ergebnisse.
ClawProBench ist ein Benchmark-Harness mit Priorität auf Live-Tests zur Bewertung von LLM-Agenten im OpenClaw-Runtime mit deterministischer Bewertung und Zuverlässigkeit bei wiederholten Tests.
Open-Source-Evaluierungen für physische KI. Führe beliebige LLMs/VLAs auf beliebigen Roboterarmen oder humanoiden Robotern gegen beliebige reale oder simulierte Benchmarks aus.
Web Codegen Scorer ist ein Tool zur Bewertung der Qualität von Webcode, der von LLMs generiert wird.
[EMNLP 2024 & AAAI 2026] Ein leistungsstarkes Toolkit zum Komprimieren großer Modelle, einschließlich LLMs, VLMs und Video-Generierungsmodellen.
🦞 Offizielles Plugin für OpenClaw, das Agent-Traces nach Opik exportiert. Überwachen Sie Agent-Verhalten, Kosten, Tokens, Fehler und mehr.
Red-Team- und Evaluierungsframework für KI-Agenten, basierend auf einer von OWASP inspirierten ASI01–ASI10-Taxonomie
Benchmarking der Faktenhaltigkeit langer Texte in großen Sprachmodellen. Originalcode für unsere Arbeit "Long-form factuality in large language models".
⚡️Eine blitzschnelle Python-Bibliothek für Ranking-Bewertung, -Vergleich und -Fusion 🐍
Awesome-LLM-Eval: eine kuratierte Liste von Tools, Datensätzen/Benchmarks, Demos, Bestenlisten, Papern, Docs und Modellen, hauptsächlich für die Evaluierung von LLMs. Eine kuratierte Liste von Tools, Benchmark/Daten, Demos, Ranglisten und großen Modellen, die sich hauptsächlich an die Bewertung von Basis-Large Models richtet und darauf abzielt, die technologischen Grenzen der generativen KI zu erforschen.
Ein Ressourcen-Repository für maschinelles Unlearning in großen Sprachmodellen
Datensatz und Benchmark für RAG auf unternehmensinternen Dokumenten.
[ICML 2024] TrustLLM: Bewertung der Vertrauenswürdigkeit von LLMs hinsichtlich Wahrhaftigkeit, Sicherheit, Fairness, Robustheit, Datenschutz und Ethik. Python-/CLI-Toolkit für lokale Modelle, kompatible APIs und die Orchestrierung von KI-Agenten.
TCExam ist ein CBA-System (Computer-Based Assessment) (e-Exam, CBT - Computer Based Testing) für Universitäten, Schulen und Unternehmen, das Pädagogen und Trainern ermöglicht, Umfragen, Quizze, Tests und Prüfungen zu erstellen, zu planen, durchzuführen und zu berichten.
Ein einfacher Mathematik- und Pseudo-C#-Ausdrucksauswertung in einer C#-Datei. Kann auch kleine C#-ähnliche Skripte ausführen.
Einfacher, sicherer, sandboxed, erweiterbarer Ausdrucksauswerter für Python
XRAG: eXamining the Core – Benchmarking grundlegender Komponentenmodule in der fortgeschrittenen Retrieval-Augmented Generation
Dieses Repository enthält den Evaluierungscode für das Paper „MMMU: A Massive Multi-discipline Multimodal Understanding and Reasoning Benchmark for Expert AGI“
Dies ist ein Toolbox-Repository zur Unterstützung der Evaluierung verschiedener Methoden, die Bildabgleiche aus einem Bildpaar durchführen.
Meta Agents Research Environments ist eine umfassende Plattform zur Evaluierung von KI-Agenten in dynamischen, realistischen Szenarien. Im Gegensatz zu statischen Benchmarks führt diese Plattform sich entwickelnde Umgebungen ein, in denen Agenten ihre Strategien anpassen müssen, sobald neue Informationen verfügbar werden, was die Herausforderungen der realen Welt widerspiegelt.
Das offizielle GitHub-Repository des Papers „Recent advances in large language model benchmarks against data contamination: From static to dynamic evaluation“