#benchmark Repositories
Insgesamt 193 Repositories
Ein objektiver Vergleich mehrerer Frameworks, die es uns ermöglichen, unsere Webanwendungen in Desktop-Anwendungen zu "transformieren".
SkillsBench bewertet, wie gut Fähigkeiten funktionieren und wie effektiv Agenten sie einsetzen.
Spielen mit "Less Slow"-Codierungspraktiken in C++ 20, C, CUDA, PTX und Assembly, von Numerik & SIMD bis hin zu Coroutinen, Ranges, Ausnahmebehandlung, Networking und User-Space-IO
Rust-Profiler für CPU-, Speicher-, SQL-, HTTP- und asynchrone Performance mit Unterstützung für Prometheus und Grafana.
BEHAVIOR-1K: eine Plattform zur Beschleunigung der Embodied AI-Forschung. Treten Sie unserem Discord für Unterstützung bei: https://discord.gg/bccR5vGFEx
Einfache, schnelle, genaue Single-Header-Mikrobenchmarking-Funktionalität für C++11/14/17/20
Ein Deep-Learning-Toolkit für KI im Gesundheitswesen: elektronische Patientenakten (MIMIC, eICU, OMOP), klinische Texte, Signale und Bildgebung. Über 30 Modelle und reproduzierbare Pipelines.
Eine Sammlung von Referenzumgebungen für das Offline-Reinforcement Learning
Die offizielle GitHub-Seite für die Umfragearbeit "A Survey on Evaluation of Large Language Models".
DomainBed ist eine Suite zum Testen von Domain-Generalisierungsalgorithmen
Benchmarken Sie LLMs, indem Sie in Street Fighter 3 kämpfen! Der neue Weg, die Qualität eines LLM zu bewerten
Schneller Compiler für C#-Ausdrucksstrukturen und die leichte Alternative LightExpression. Diagnose- und Codegenerierungstools für die Ausdrücke.
[pip install medmnist] 18 standardisierte Datensätze für die 2D- und 3D-Klassifizierung biomedizinischer Bilder
Modulares Deep-Reinforcement-Learning-Framework in PyTorch. Begleitbibliothek des Buches „Foundations of Deep Reinforcement Learning“.
KernelBench: Können LLMs GPU-Kernel schreiben? - Benchmark + Toolkit mit Torch -> CUDA (+ weitere DSLs)
GitHub Action für kontinuierliches Benchmarking zur Aufrechterhaltung der Leistung
Offene Gedächtnis- und Zuverlässigkeitsschicht für KI-Agenten + unabhängige Bewertung/Verifizierung (NACRE-Judge, caliber-bench-Meta-Benchmark, vorab registrierte Kriterien) — von Nautilus Platform
PDEBench: Ein umfangreicher Benchmark für wissenschaftliches maschinelles Lernen
Lesehinweise zu multimodalen großen Sprachmodellen, großen Sprachmodellen und Diffusionsmodellen
OpenSTL: Ein umfassender Benchmark für spatio-temporales vorausschauendes Lernen
Ein Benchmark für klinische Entscheidungen und Evidenz: die eine Tatsache herausarbeiten, auf der eine Antwort beruht, und prüfen, ob sich die Handlung des Assistenten entsprechend der Evidenz verändert. Auf HealthBench aufgebaut.
JMLR: OmniSafe ist ein infrastrukturelles Framework zur Beschleunigung der SafeRL-Forschung.
Eine dynamische Umgebung zur Bewertung von Angriffen und Verteidigungen für LLM-Agenten.