#benchmark Repository
193 repository in totale
Un confronto obiettivo di piรน framework che ci consentono di "trasformare" le nostre app web in applicazioni desktop.
SkillsBench valuta il funzionamento delle competenze e l'efficacia con cui gli agenti le utilizzano.
Sperimentare pratiche di codifica "Less Slow" in C++ 20, C, CUDA, PTX e Assembly, dalla numerica e SIMD alle coroutine, ranges, gestione delle eccezioni, networking e I/O in user-space
Profiler Rust per le prestazioni di CPU, memoria, SQL, HTTP e operazioni asincrone, con supporto per Prometheus e Grafana.
Benchmarking del trasferimento di conoscenza nell'apprendimento robotico permanente
Valutazione rigorosa del codice sintetizzato da LLM โ NeurIPS 2023 e COLM 2024
BEHAVIOR-1K: una piattaforma per accelerare la ricerca sull'AI incarnata. Unisciti al nostro Discord per supporto: https://discord.gg/bccR5vGFEx
Funzionalitร semplice, veloce e precisa di microbenchmarking a singolo header per C++11/14/17/20
Un toolkit di deep learning per lโIA in ambito sanitario: cartelle cliniche elettroniche (MIMIC, eICU, OMOP), testi clinici, segnali e immagini. Oltre 30 modelli e pipeline riproducibili.
Una raccolta di ambienti di riferimento per l'apprendimento per rinforzo offline
La pagina ufficiale di GitHub per l'articolo di sintesi "A Survey on Evaluation of Large Language Models".
DomainBed รจ una suite per testare algoritmi di generalizzazione di dominio
Benchmark LLM combattendo in Street Fighter 3! Il nuovo modo per valutare la qualitร di un LLM
Compilatore veloce per alberi di espressioni C# e la leggera alternativa LightExpression. Strumenti di diagnostica e generazione di codice per le espressioni.
[pip install medmnist] 18 set di dati standardizzati per la classificazione di immagini biomediche 2D e 3D
Framework modulare di Deep Reinforcement Learning in PyTorch. Libreria companion del libro "Foundations of Deep Reinforcement Learning".
KernelBench: Gli LLM possono scrivere kernel GPU? - Benchmark + Toolkit con Torch -> CUDA (+ piรน DSL)
GitHub Action per il benchmarking continuo per mantenere le prestazioni
Livello aperto di memoria e affidabilitร per agenti IA + valutazione/verifica indipendente (giudice NACRE, meta-benchmark caliber-bench, criteri preregistrati) โ di Nautilus Platform
Note di lettura su modelli linguistici di grandi dimensioni multimodali, modelli linguistici di grandi dimensioni e modelli di diffusione
Quadro computazionale per l'apprendimento per rinforzo nel controllo del traffico
OpenSTL: Un benchmark completo per l'apprendimento predittivo spazio-temporale
Un benchmark per le decisioni cliniche basato sullโevidenza: estrarre lโunico fatto su cui si fonda una risposta e verificare se lโazione dellโassistente cambia in base allโevidenza. Costruito su HealthBench.
JMLR: OmniSafe รจ un framework infrastrutturale per accelerare la ricerca SafeRL.