Git Stars Git Stars

#evaluation Repository

89
Totale Repository
369,872
Totale stelle
4,155
Media Stelle/Repo

89 repository in totale

51
chunxiaoxx/nautilus-compass

Livello aperto di memoria e affidabilità per agenti IA + valutazione/verifica indipendente (giudice NACRE, meta-benchmark caliber-bench, criteri preregistrati) — di Nautilus Platform

chunxiaoxx
⭐ 1,260 Python 👤 chunxiaoxx User 🕐 Aggiornato 2026-11-19 📅 Creato 2026-04-27
52
run-house/kubetorch

Distribuisci ed esegui carichi di lavoro AI su Kubernetes magicamente in Python, come PyTorch per l'infrastruttura ML.

run-house
⭐ 1,228 Python 👤 run-house Organization 🕐 Aggiornato 2026-05-29 📅 Creato 2022-05-10
53
google/fuzzbench

FuzzBench - Benchmarking di fuzzer come servizio.

google
⭐ 1,211 Python 👤 google Organization 🕐 Aggiornato 2026-01-26 📅 Creato 2020-02-04
54
toshas/torch-fidelity

Metriche di performance ad alta fedeltà per modelli generativi in PyTorch

toshas
⭐ 1,205 Python 👤 toshas User 🕐 Aggiornato 2026-10-25 📅 Creato 2020-04-23
55
ncalc/ncalc

NCalc è una libreria veloce e leggera per la valutazione di espressioni per .NET, progettata per flessibilità e alte prestazioni. Supporta un'ampia gamma di operazioni matematiche e logiche.

ncalc
⭐ 1,172 C# 👤 ncalc Organization 🕐 Aggiornato 2026-11-21 📅 Creato 2017-11-15
56
xinxuxin/keystone-bench

Un benchmark per le decisioni cliniche basato sull’evidenza: estrarre l’unico fatto su cui si fonda una risposta e verificare se l’azione dell’assistente cambia in base all’evidenza. Costruito su HealthBench.

xinxuxin
⭐ 1,130 Python 👤 xinxuxin User 🕐 Aggiornato 2026-10-19 📅 Creato 2026-09-07
57
Jwuthri/Tracely-ai

CI/CD nativo delle tracce per agenti di IA: gli errori in produzione diventano test di regressione che bloccano la PR. Rilevamento e raggruppamento automatici, congelamento in casi ermetici e riproduzione in CI a costo zero.

Jwuthri
⭐ 1,122 Python 👤 Jwuthri User 🕐 Aggiornato 2026-11-21 📅 Creato 2026-06-03
58
agentscope-ai/OpenJudge

OpenJudge: Un framework unificato per la valutazione olistica e ricompense di qualità

agentscope-ai
⭐ 1,121 Python 👤 agentscope-ai Organization 🕐 Aggiornato 2026-11-21 📅 Creato 2025-07-08
59
prometheus-eval/prometheus-eval

Valuta la risposta del tuo LLM con Prometheus e GPT4 💯

prometheus-eval
⭐ 1,087 Python 👤 prometheus-eval Organization 🕐 Aggiornato 2025-04-25 📅 Creato 2024-04-18
60
langchain-ai/langsmith-sdk

Implementazioni del client SDK LangSmith

langchain-ai
⭐ 1,082 Python 👤 langchain-ai Organization 🕐 Aggiornato 2026-10-16 📅 Creato 2023-05-30
61
MAC-AutoML/MindPipe

Un framework potente di compressione di modelli per LLMs e LVLMs, adattato per GPU NVIDIA e NPU Huawei Ascend.

MAC-AutoML
⭐ 1,013 Python 👤 MAC-AutoML Organization 🕐 Aggiornato 2026-08-11 📅 Creato 2026-01-22
62
nolabs-ai/deepfabric

Genera sintetici di alta qualità, addestra, misura e valuta in un'unica pipeline

nolabs-ai
⭐ 896 Python 👤 nolabs-ai Organization 🕐 Aggiornato 2026-11-13 📅 Creato 2024-10-25
63
PRBonn/semantic-kitti-api

API SemanticKITTI per la visualizzazione del dataset, l'elaborazione dei dati e la valutazione dei risultati.

PRBonn
⭐ 895 Python 👤 PRBonn Organization 🕐 Aggiornato 2025-04-03 📅 Creato 2019-07-24
64
suyoumo/ClawProBench

ClawProBench è un harness di benchmark con priorità sui test live per valutare agenti LLM nell'ambiente di runtime OpenClaw con graduatoria deterministica e affidabilità dei trial ripetuti.

suyoumo
⭐ 829 Rust 👤 suyoumo User 🕐 Aggiornato 2026-08-25 📅 Creato 2025-03-02
65
PaesslerAG/gval

Valutazione delle espressioni in Golang

PaesslerAG
⭐ 819 Go 👤 PaesslerAG Organization 🕐 Aggiornato 2026-09-13 📅 Creato 2017-09-27
66
robocurve/inspect-robots

Valutazioni open source per l’IA fisica. Esegui qualsiasi LLM/VLA su qualsiasi braccio robotico o umanoide rispetto a qualsiasi benchmark reale o simulato.

robocurve
⭐ 776 Python 👤 robocurve Organization 🕐 Aggiornato 2026-11-11 📅 Creato 2026-06-26
67
angular/web-codegen-scorer

Web Codegen Scorer è uno strumento per valutare la qualità del codice web generato dagli LLM.

angular
⭐ 774 TypeScript 👤 angular Organization 🕐 Aggiornato 2026-05-05 📅 Creato 2025-09-04
68
IntelLabs/RAG-FiT

Framework per migliorare gli LLM per i compiti RAG utilizzando il fine-tuning.

IntelLabs
⭐ 766 Python 👤 IntelLabs Organization 🕐 Aggiornato 2026-06-08 📅 Creato 2024-07-23
69
ModelTC/LightCompress

[EMNLP 2024 & AAAI 2026] Un potente toolkit per comprimere modelli di grandi dimensioni, inclusi LLM, VLM e modelli generativi video.

ModelTC
⭐ 755 Python 👤 ModelTC Organization 🕐 Aggiornato 2026-05-14 📅 Creato 2024-03-06
70
comet-ml/opik-openclaw

🦞 Plugin ufficiale per OpenClaw che esporta le tracce degli agenti in Opik. Visualizza e monitora il comportamento dell'agente, costi, token, errori e altro.

comet-ml
⭐ 723 TypeScript 👤 comet-ml Organization 🕐 Aggiornato 2026-11-20 📅 Creato 2026-03-02
71
AgentSafeLabs/safelabs-eval

Framework di red teaming e valutazione per agenti IA, basato su una tassonomia ASI01–ASI10 ispirata a OWASP

AgentSafeLabs
⭐ 713 Python 👤 AgentSafeLabs Organization 🕐 Aggiornato 2026-11-06 📅 Creato 2026-05-25
72
bochinski/iou-tracker

Implementazione in Python dell'IOU Tracker

bochinski
⭐ 701 Python 👤 bochinski User 🕐 Aggiornato 2026-06-14 📅 Creato 2017-07-25
73
google-deepmind/long-form-factuality

Benchmarking della fattualità a lungo termine nei grandi modelli linguistici. Codice originale per il nostro paper "Long-form factuality in large language models".

google-deepmind
⭐ 698 Python 👤 google-deepmind Organization 🕐 Aggiornato 2026-06-18 📅 Creato 2024-03-25
74
AmenRa/ranx

⚡️Una libreria Python velocissima per valutazione, confronto e fusione di ranking 🐍

AmenRa
⭐ 691 Python 👤 AmenRa User 🕐 Aggiornato 2025-08-07 📅 Creato 2020-06-02
75
onejune2018/Awesome-LLM-Eval

Awesome-LLM-Eval: un elenco curato di strumenti, set di dati/benchmark, demo, classifiche, articoli, documenti e modelli, principalmente per la valutazione dei LLM. Un elenco curato di strumenti, benchmark/dati, demo, classifiche e modelli di grandi dimensioni, principalmente focalizzato sulla valutazione dei modelli di base di grandi dimensioni, con l'obiettivo di esplorare i confini tecnologici dell'IA generativa.

onejune2018
⭐ 661 👤 onejune2018 User 🕐 Aggiornato 2025-11-24 📅 Creato 2023-04-26
76
run-llama/ParseBench

ParseBench - Un benchmark di analisi dei documenti per agenti AI

run-llama
⭐ 650 Python 👤 run-llama Organization 🕐 Aggiornato 2026-11-21 📅 Creato 2026-04-10
77
ucinlp/autoprompt

AutoPrompt: Costruzione Automatica di Prompt per Modelli Linguistici Mascherati.

ucinlp
⭐ 643 Python 👤 ucinlp Organization 🕐 Aggiornato 2026-09-02 📅 Creato 2020-03-01
78
chrisliu298/awesome-llm-unlearning

Un repository di risorse per l'unlearning automatico nei modelli linguistici di grandi dimensioni

chrisliu298
⭐ 640 👤 chrisliu298 User 🕐 Aggiornato 2026-10-06 📅 Creato 2024-03-27
79
onyx-dot-app/EnterpriseRAG-Bench

Dataset e benchmark per RAG su documenti interni aziendali.

onyx-dot-app
⭐ 639 👤 onyx-dot-app Organization 🕐 Aggiornato 2026-09-03 📅 Creato 2026-02-19
80
HowieHwong/TrustLLM

[ICML 2024] TrustLLM: valutazione dell’affidabilità degli LLM in termini di veridicità, sicurezza, equità, robustezza, privacy ed etica. Toolkit Python/CLI per modelli locali, API compatibili e orchestrazione di agenti IA.

HowieHwong
⭐ 635 Python 👤 HowieHwong User 🕐 Aggiornato 2026-10-04 📅 Creato 2023-12-23
81
tecnickcom/tcexam

TCExam è un sistema CBA (Computer-Based Assessment) (e-exam, CBT - Computer Based Testing) per università, scuole e aziende, che consente agli educatori e formatori di creare, programmare, erogare e riportare su sondaggi, quiz, test ed esami.

tecnickcom
⭐ 634 PHP 👤 tecnickcom Organization 🕐 Aggiornato 2026-11-21 📅 Creato 2013-04-15
82
codingseb/ExpressionEvaluator

Un semplice valutatore di espressioni matematiche e pseudo C# in un unico file C#. Può anche eseguire piccoli script simili a C#

codingseb
⭐ 630 C# 👤 codingseb User 🕐 Aggiornato 2025-09-08 📅 Creato 2017-03-15
83
danthedeckie/simpleeval

Valutatore di espressioni semplice, sicuro, sandboxed ed estensibile per Python

danthedeckie
⭐ 618 Python 👤 danthedeckie User 🕐 Aggiornato 2026-10-25 📅 Creato 2013-12-03
84
DocAILab/XRAG

XRAG: eXamining the Core - Valutazione comparativa dei moduli dei componenti fondamentali nella generazione avanzata potenziata dal recupero

DocAILab
⭐ 612 Python 👤 DocAILab Organization 🕐 Aggiornato 2026-11-01 📅 Creato 2024-09-07
85
MMMU-Benchmark/MMMU

Questo repository contiene il codice di valutazione per l'articolo "MMMU: A Massive Multi-discipline Multimodal Understanding and Reasoning Benchmark for Expert AGI"

MMMU-Benchmark
⭐ 601 Python 👤 MMMU-Benchmark Organization 🕐 Aggiornato 2026-11-13 📅 Creato 2023-11-23
86
jkkummerfeld/text2sql-data

Una collezione di dataset che accoppiano domande con query SQL.

jkkummerfeld
⭐ 587 Python 👤 jkkummerfeld User 🕐 Aggiornato 2025-03-03 📅 Creato 2018-05-11
87
GrumpyZhou/image-matching-toolbox

Questo è un repository di toolbox per aiutare a valutare vari metodi che eseguono il confronto di immagini da una coppia di immagini.

GrumpyZhou
⭐ 586 Jupyter Notebook 👤 GrumpyZhou User 🕐 Aggiornato 2024-04-29 📅 Creato 2020-11-24
88
facebookresearch/meta-agents-research-environments

Meta Agents Research Environments è una piattaforma completa progettata per valutare agenti IA in scenari dinamici e realistici. A differenza dei benchmark statici, questa piattaforma introduce ambienti in evoluzione in cui gli agenti devono adattare le proprie strategie man mano che nuove informazioni diventano disponibili, rispecchiando le sfide del mondo reale.

facebookresearch
⭐ 581 Python 👤 facebookresearch Organization 🕐 Aggiornato 2026-09-30 📅 Creato 2025-09-11
89
SeekingDream/Static-to-Dynamic-LLMEval

Il repository ufficiale GitHub del paper "Recent advances in large language model benchmarks against data contamination: From static to dynamic evaluation"

SeekingDream
⭐ 500 👤 SeekingDream User 🕐 Aggiornato 2026-09-28 📅 Creato 2025-02-21