#benchmark Repositories
Insgesamt 193 Repositories
BenchMARL ist eine Bibliothek zum Benchmarking von Multi-Agent Reinforcement Learning (MARL). BenchMARL ermöglicht den schnellen Vergleich verschiedener MARL-Algorithmen, Aufgaben und Modelle, während es systematisch auf seinen beiden Kernprinzipien basiert: Reproduzierbarkeit und Standardisierung.
AgentLab: Ein Open-Source-Framework zur Entwicklung, zum Testen und Benchmarking von Webagenten in vielfältigen Aufgaben, entwickelt für Skalierbarkeit und Reproduzierbarkeit。
Ein kleines (130 B bis 205 B) und schnelles Dienstprogramm zur Generierung zufälliger IDs fester Länge
A.S.E (AICGSecEval) ist ein von Tencent Wukong Code Security Team entwickelter Repository-level AI-generierter Code-Sicherheitsbewertungs-Benchmark.
Awesome-LLM-Eval: eine kuratierte Liste von Tools, Datensätzen/Benchmarks, Demos, Bestenlisten, Papern, Docs und Modellen, hauptsächlich für die Evaluierung von LLMs. Eine kuratierte Liste von Tools, Benchmark/Daten, Demos, Ranglisten und großen Modellen, die sich hauptsächlich an die Bewertung von Basis-Large Models richtet und darauf abzielt, die technologischen Grenzen der generativen KI zu erforschen.
Ein Repository mit ziemlich coolen Datensätzen, die ich für die Forschung in Netzwerkwissenschaft und maschinellem Lernen gesammelt habe.
CAIRI Toolbox und Benchmark für überwachtes, semi-überwachtes und selbst-überwachtes visuelles repräsentatives Lernen
Datensatz und Benchmark für RAG auf unternehmensinternen Dokumenten.
[ICML 2024] TrustLLM: Bewertung der Vertrauenswürdigkeit von LLMs hinsichtlich Wahrhaftigkeit, Sicherheit, Fairness, Robustheit, Datenschutz und Ethik. Python-/CLI-Toolkit für lokale Modelle, kompatible APIs und die Orchestrierung von KI-Agenten.
Der allererste umfassende Benchmark für natürliche Sprachverarbeitung für die indonesische Sprache. Wir bieten mehrere nachgelagerte Aufgaben, vortrainierte IndoBERT-Modelle und einen Starter-Code! (AACL-IJCNLP 2020)
Ein globales Netzwerk von Sonden zur Durchführung von Netzwerktests wie Ping, Traceroute und DNS-Auflösung
Federated Learning Benchmark – Federated Learning auf Non-IID-Datensilos: Eine experimentelle Studie (ICDE 2022)
JailbreakBench: Ein offener Robustheits-Benchmark für das Jailbreaking von Sprachmodellen [NeurIPS 2024 Datasets and Benchmarks Track]
Können KI-Agenten Websites durch die Erkundung eines Browsers neu erstellen?
Eine moderne iperf3-Alternative mit Live-TUI, Multi-Client-Server und QUIC-Unterstützung. In Rust geschrieben.
Aixio Layer v2 stellt nach Möglichkeit bearbeitbare Ebenen aus reduzierten Designs wieder her. Benchmark mit 150 Designs im Vergleich zu Canva Magic Layers, Qwen-Image-Layer und GPT-6 Astra Ultra.
Meta Agents Research Environments ist eine umfassende Plattform zur Evaluierung von KI-Agenten in dynamischen, realistischen Szenarien. Im Gegensatz zu statischen Benchmarks führt diese Plattform sich entwickelnde Umgebungen ein, in denen Agenten ihre Strategien anpassen müssen, sobald neue Informationen verfügbar werden, was die Herausforderungen der realen Welt widerspiegelt.
Ein modernerer HTTP-Framework-Benchmarker, der HTTP/1- und HTTP/2-Benchmarks unterstützt.
Serialisierungsbibliothek geschrieben in C++17 - Packen Sie C++-Strukturen in ein kompaktes Byte-Array ohne Makros oder Boilerplate-Code
Naive Leistungsvergleich einiger Programmiersprachen (JavaScript, Kotlin, Rust, Swift, Nim, Python, Go, Haskell, D, C++, Java, C#, Object Pascal, Ada, Lua, Ruby)
SpeechIO Leaderboard: eine große, robuste, umfassende Benchmark-Plattform für automatische Spracherkennung.
Framework für Performance-Benchmarking und Tests für .NET-Anwendungen :chart_with_upwards_trend:
Maximale Rechenleistung, Speicherbandbreite und Latenz von CPUs, GPUs und NPUs: dieselben Tests über jede API, die auf ein Gerät zugreift. Kommandozeile und App für Windows, macOS, Linux und Android
Java RPC Benchmark, inspiriert von https://www.techempower.com/benchmarks/
Das offizielle Repository von GraphRAG-Bench zur Evaluierung von GraphRAG-Modellen. „Wann man Graphen in RAG verwenden sollte: Eine umfassende Analyse der graphenbasierten retrieval-augmentierten Generierung“. (ICLR'26)
LongCite: Ermöglichung der Generierung von fein nuancierten Zitaten in LLMs für die Beantwortung langer Kontexte
[ICLR'25] BigCodeBench: Benchmarking der Codegenerierung in Richtung AGI
Aktueller Stand der überwachten und unüberwachten Tiefenkomplettierungsverfahren
Token-Limit überschritten? Ruf besser Smith an! Better Call Smith. Adaptive Modellweiterleitung, ein schicker Codex-Nutzungsmonitor und reproduzierbare Benchmarks mit Belegen.
Das offizielle GitHub-Repository des Papers „Recent advances in large language model benchmarks against data contamination: From static to dynamic evaluation“