#benchmark Repository
193 repository in totale
BenchMARL è una libreria per il benchmarking del Multi-Agent Reinforcement Learning (MARL). BenchMARL consente di confrontare rapidamente diversi algoritmi, attività e modelli MARL, pur essendo sistematicamente fondato sui suoi due principi fondamentali: riproducibilità e standardizzazione.
AgentLab: Un framework open-source per lo sviluppo, il testing e il benchmarking di agenti web su compiti diversi, progettato per scalabilità e riproducibilità。
Una piccola (da 130B a 205B) e veloce utility per generare ID casuali di lunghezza fissa
A.S.E (AICGSecEval) è un benchmark di valutazione della sicurezza del codice generato da IA a livello di repository, sviluppato dal Tencent Wukong Code Security Team.
Awesome-LLM-Eval: un elenco curato di strumenti, set di dati/benchmark, demo, classifiche, articoli, documenti e modelli, principalmente per la valutazione dei LLM. Un elenco curato di strumenti, benchmark/dati, demo, classifiche e modelli di grandi dimensioni, principalmente focalizzato sulla valutazione dei modelli di base di grandi dimensioni, con l'obiettivo di esplorare i confini tecnologici dell'IA generativa.
Un repository di dataset piuttosto cool che ho raccolto per la ricerca in scienze di rete e machine learning.
CAIRI Toolbox e Benchmark per l'apprendimento di rappresentazioni visive supervisionato, semi-supervisionato e auto-supervisionato
[ICML 2024] TrustLLM: valutazione dell’affidabilità degli LLM in termini di veridicità, sicurezza, equità, robustezza, privacy ed etica. Toolkit Python/CLI per modelli locali, API compatibili e orchestrazione di agenti IA.
Il primo ed esteso benchmark di elaborazione del linguaggio naturale per la lingua indonesiana. Forniamo molteplici attività downstream, modelli IndoBERT pre-addestrati e un codice di avvio! (AACL-IJCNLP 2020)
Una rete globale di sonde per eseguire test di rete come ping, traceroute e risoluzione DNS
Metriche di riferimento per l'apprendimento federato - Apprendimento federato su silos di dati Non-IID: uno studio sperimentale (ICDE 2022)
Un Benchmark per la Classificazione del Testo in PyTorch
JailbreakBench: Un benchmark di robustezza aperto per il jailbreaking dei modelli linguistici [Traccia Datasets and Benchmarks di NeurIPS 2024]
Una moderna alternativa a iperf3 con TUI live, server multi-client e supporto QUIC. Realizzato in Rust.
Aixio Layer v2 recupera livelli modificabili dai design appiattiti, quando possibile. Benchmark su 150 design a confronto con Canva Magic Layers, Qwen-Image-Layer e GPT-6 Astra Ultra.
Meta Agents Research Environments è una piattaforma completa progettata per valutare agenti IA in scenari dinamici e realistici. A differenza dei benchmark statici, questa piattaforma introduce ambienti in evoluzione in cui gli agenti devono adattare le proprie strategie man mano che nuove informazioni diventano disponibili, rispecchiando le sfide del mondo reale.
Un benchmark di framework HTTP più moderno che supporta benchmark HTTP/1 e HTTP/2.
Libreria di serializzazione scritta in C++17 - Impacchetta struct C++ in un array di byte compatto senza macro o codice boilerplate
Confronto ingenuo delle prestazioni di alcuni linguaggi di programmazione (JavaScript, Kotlin, Rust, Swift, Nim, Python, Go, Haskell, D, C++, Java, C#, Object Pascal, Ada, Lua, Ruby)
SpeechIO Leaderboard: una piattaforma di benchmarking ampia, robusta e completa per il riconoscimento vocale automatico.
Framework per benchmarking delle prestazioni e test per applicazioni .NET :chart_with_upwards_trend:
Potenza di calcolo massima, larghezza di banda della memoria e latenza di CPU, GPU e NPU: gli stessi test tramite ogni API che consente di accedere a un dispositivo. Riga di comando e app per Windows, macOS, Linux e Android
Benchmark JavaScript per carichi di lavoro comuni degli sviluppatori web
Il repository ufficiale di GraphRAG-Bench per valutare i modelli GraphRAG. «Quando usare i grafi nel RAG: un’analisi completa della generazione aumentata dal recupero su grafi». (ICLR'26)
LongCite: Consentire agli LLM di generare citazioni granulari nel QA a contesto lungo
[ICLR'25] BigCodeBench: Benchmarking della generazione di codice verso l'AGI
Stato attuale dei metodi di completamento della profondità supervisionati e non supervisionati
Token in eccesso? Chiama subito Smith! Better Call Smith. Instradamento adattivo dei modelli, un elegante monitor dell’utilizzo di Codex e benchmark riproducibili con prove alla mano.
Il repository ufficiale GitHub del paper "Recent advances in large language model benchmarks against data contamination: From static to dynamic evaluation"