#evaluation Repository
89 repository in totale
Livello aperto di memoria e affidabilità per agenti IA + valutazione/verifica indipendente (giudice NACRE, meta-benchmark caliber-bench, criteri preregistrati) — di Nautilus Platform
Distribuisci ed esegui carichi di lavoro AI su Kubernetes magicamente in Python, come PyTorch per l'infrastruttura ML.
NCalc è una libreria veloce e leggera per la valutazione di espressioni per .NET, progettata per flessibilità e alte prestazioni. Supporta un'ampia gamma di operazioni matematiche e logiche.
Un benchmark per le decisioni cliniche basato sull’evidenza: estrarre l’unico fatto su cui si fonda una risposta e verificare se l’azione dell’assistente cambia in base all’evidenza. Costruito su HealthBench.
CI/CD nativo delle tracce per agenti di IA: gli errori in produzione diventano test di regressione che bloccano la PR. Rilevamento e raggruppamento automatici, congelamento in casi ermetici e riproduzione in CI a costo zero.
OpenJudge: Un framework unificato per la valutazione olistica e ricompense di qualità
Un framework potente di compressione di modelli per LLMs e LVLMs, adattato per GPU NVIDIA e NPU Huawei Ascend.
Genera sintetici di alta qualità, addestra, misura e valuta in un'unica pipeline
API SemanticKITTI per la visualizzazione del dataset, l'elaborazione dei dati e la valutazione dei risultati.
ClawProBench è un harness di benchmark con priorità sui test live per valutare agenti LLM nell'ambiente di runtime OpenClaw con graduatoria deterministica e affidabilità dei trial ripetuti.
Valutazioni open source per l’IA fisica. Esegui qualsiasi LLM/VLA su qualsiasi braccio robotico o umanoide rispetto a qualsiasi benchmark reale o simulato.
Web Codegen Scorer è uno strumento per valutare la qualità del codice web generato dagli LLM.
[EMNLP 2024 & AAAI 2026] Un potente toolkit per comprimere modelli di grandi dimensioni, inclusi LLM, VLM e modelli generativi video.
🦞 Plugin ufficiale per OpenClaw che esporta le tracce degli agenti in Opik. Visualizza e monitora il comportamento dell'agente, costi, token, errori e altro.
Framework di red teaming e valutazione per agenti IA, basato su una tassonomia ASI01–ASI10 ispirata a OWASP
Benchmarking della fattualità a lungo termine nei grandi modelli linguistici. Codice originale per il nostro paper "Long-form factuality in large language models".
Awesome-LLM-Eval: un elenco curato di strumenti, set di dati/benchmark, demo, classifiche, articoli, documenti e modelli, principalmente per la valutazione dei LLM. Un elenco curato di strumenti, benchmark/dati, demo, classifiche e modelli di grandi dimensioni, principalmente focalizzato sulla valutazione dei modelli di base di grandi dimensioni, con l'obiettivo di esplorare i confini tecnologici dell'IA generativa.
AutoPrompt: Costruzione Automatica di Prompt per Modelli Linguistici Mascherati.
Un repository di risorse per l'unlearning automatico nei modelli linguistici di grandi dimensioni
[ICML 2024] TrustLLM: valutazione dell’affidabilità degli LLM in termini di veridicità, sicurezza, equità, robustezza, privacy ed etica. Toolkit Python/CLI per modelli locali, API compatibili e orchestrazione di agenti IA.
TCExam è un sistema CBA (Computer-Based Assessment) (e-exam, CBT - Computer Based Testing) per università, scuole e aziende, che consente agli educatori e formatori di creare, programmare, erogare e riportare su sondaggi, quiz, test ed esami.
Un semplice valutatore di espressioni matematiche e pseudo C# in un unico file C#. Può anche eseguire piccoli script simili a C#
Valutatore di espressioni semplice, sicuro, sandboxed ed estensibile per Python
XRAG: eXamining the Core - Valutazione comparativa dei moduli dei componenti fondamentali nella generazione avanzata potenziata dal recupero
Questo repository contiene il codice di valutazione per l'articolo "MMMU: A Massive Multi-discipline Multimodal Understanding and Reasoning Benchmark for Expert AGI"
Questo è un repository di toolbox per aiutare a valutare vari metodi che eseguono il confronto di immagini da una coppia di immagini.
Meta Agents Research Environments è una piattaforma completa progettata per valutare agenti IA in scenari dinamici e realistici. A differenza dei benchmark statici, questa piattaforma introduce ambienti in evoluzione in cui gli agenti devono adattare le proprie strategie man mano che nuove informazioni diventano disponibili, rispecchiando le sfide del mondo reale.
Il repository ufficiale GitHub del paper "Recent advances in large language model benchmarks against data contamination: From static to dynamic evaluation"