Git Stars Git Stars

#evaluation Repository

Scopri 89 repository GitHub open source attivi contrassegnati con #evaluation, che raccolgono un totale di 369,872 stelle (con una media di 4,155 stelle per progetto). Il progetto leader di questo argomento è lm-sys/FastChat, con 39,550 stelle.

89
Totale Repository
369,872
Totale stelle
4,155
Media Stelle/Repo

89 repository in totale

1
lm-sys/FastChat

Una piattaforma aperta per l'addestramento, il serving e la valutazione di modelli linguistici di grandi dimensioni. Repository di rilascio per Vicuna e Chatbot Arena.

lm-sys
⭐ 39,550 Python 👤 lm-sys Organization 🕐 Aggiornato 2026-05-01 📅 Creato 2023-03-19
2
Tencent/WeKnora

Piattaforma open-source per la conoscenza LLM: trasforma documenti grezzi in un RAG interrogabile, un agente di ragionamento autonomo e un Wiki auto-mantenuto.

Tencent
⭐ 37,938 Go 👤 Tencent Organization 🕐 Aggiornato 2026-11-21 📅 Creato 2025-07-22
3
langfuse/langfuse

🪢 Piattaforma open source per l’ingegneria dell’IA: AI Gateway, osservabilità degli agenti, valutazioni e gestione di prompt e competenze, basata su OpenTelemetry. Un’unica piattaforma aperta per ogni chiamata IA e ogni agente. Puoi ospitarla autonomamente o usare Langfuse Cloud.

langfuse
⭐ 37,696 TypeScript 👤 langfuse Organization 🕐 Aggiornato 2026-11-21 📅 Creato 2023-05-18
4
mlflow/mlflow

La piattaforma di ingegneria IA open source per agenti, LLM e modelli ML. MLflow consente a team di tutte le dimensioni di debuggare, valutare, monitorare e ottimizzare applicazioni IA di qualità produttiva controllando i costi e gestendo l'accesso a modelli e dati.

mlflow
⭐ 28,920 Python 👤 mlflow Organization 🕐 Aggiornato 2026-11-21 📅 Creato 2018-06-05
5
promptfoo/promptfoo

Testa i tuoi prompt, agenti e RAG. Red teaming/pentesting/scansione delle vulnerabilità per l'IA. Confronta le prestazioni di GPT, Claude, Gemini, DeepSeek e altri. Configurazioni dichiarative semplici con integrazione da riga di comando e CI/CD. Utilizzato da OpenAI e Anthropic.

promptfoo
⭐ 27,516 TypeScript 👤 promptfoo Organization 🕐 Aggiornato 2026-11-21 📅 Creato 2023-04-28
6
comet-ml/opik

Esegui il debug, valuta e monitora le tue applicazioni LLM, i sistemi RAG e i flussi di lavoro agentic con tracing completo, valutazioni automatizzate e dashboard pronti per la produzione.

comet-ml
⭐ 23,479 Java 👤 comet-ml Organization 🕐 Aggiornato 2026-11-21 📅 Creato 2023-05-10
7
vibrantlabsai/ragas

Potenzia le tue valutazioni di applicazioni LLM 🚀

vibrantlabsai
⭐ 16,395 Python 👤 vibrantlabsai Organization 🕐 Aggiornato 2026-11-14 📅 Creato 2023-05-08
8
open-compass/opencompass

OpenCompass è una piattaforma per la valutazione dei modelli linguistici di grandi dimensioni (LLM) che supporta un’ampia gamma di modelli di OpenAI, Anthropic, Gemini, Qwen, GLM, DeepSeek, ecc., su oltre 100 dataset riguardanti conoscenza, ragionamento, programmazione, scienza, linguaggio, contesti lunghi e sicurezza.

open-compass
⭐ 7,610 Python 👤 open-compass Organization 🕐 Aggiornato 2026-11-18 📅 Creato 2023-06-15
9
alchaincyf/darwin-skill

达尔文.skill —— Un sistema che fa evolvere infinitamente i tuoi Skill: valutazione→miglioramento→test→mantieni o rollback | Ottimizzazione autonoma delle skill ispirata ad Autoresearch per Claude Code. Valuta, migliora, testa, mantieni o reverting.

alchaincyf
⭐ 7,015 HTML 👤 alchaincyf User 🕐 Aggiornato 2026-11-18 📅 Creato 2026-04-13
10
Helicone/helicone

🧊 Piattaforma open source per l'osservabilità di LLM. Una riga di codice per monitorare, valutare e sperimentare. YC W23 🍓

Helicone
⭐ 6,292 TypeScript 👤 Helicone Organization 🕐 Aggiornato 2026-11-17 📅 Creato 2023-01-31
11
coze-dev/coze-loop

Piattaforma di ottimizzazione per agenti AI di nuova generazione: Cozeloop affronta le sfide nello sviluppo di agenti AI fornendo capacità di gestione dell'intero ciclo di vita, dallo sviluppo, al debug, alla valutazione fino al monitoraggio.

coze-dev
⭐ 5,799 Go 👤 coze-dev Organization 🕐 Aggiornato 2026-11-17 📅 Creato 2025-06-24
12
Kiln-AI/Kiln

Costruire, Valutare e Ottimizzare i Sistemi di IA. Include valutazioni (evals), RAG, agenti, messa a punto (fine-tuning), generazione di dati sintetici, gestione dei set di dati, MCP e altro ancora.

Kiln-AI
⭐ 5,286 Python 👤 Kiln-AI Organization 🕐 Aggiornato 2026-11-21 📅 Creato 2024-07-23
13
langwatch/langwatch

Osservabilità e valutazione open source degli agenti per i team di piattaforma AI. Traccia, testa, indirizza e governa ogni agente e assistente di programmazione dell’azienda.

langwatch
⭐ 5,050 TypeScript 👤 langwatch Organization 🕐 Aggiornato 2026-11-21 📅 Creato 2023-09-09
14
EvolvingLMMs-Lab/lmms-eval

Toolkit di valutazione multimodale One-for-All per attività testuali, di immagini, video e audio

EvolvingLMMs-Lab
⭐ 4,501 Python 👤 EvolvingLMMs-Lab Organization 🕐 Aggiornato 2026-11-20 📅 Creato 2024-03-07
15
open-compass/VLMEvalKit

Toolkit di valutazione open-source per modelli multimodali di grandi dimensioni (LMM), supporta 220+ LMM, 80+ benchmark

open-compass
⭐ 4,499 Python 👤 open-compass Organization 🕐 Aggiornato 2026-11-19 📅 Creato 2023-12-01
16
MichaelGrupp/evo

Pacchetto Python per la valutazione di odometria e SLAM

MichaelGrupp
⭐ 4,367 Python 👤 MichaelGrupp User 🕐 Aggiornato 2026-11-15 📅 Creato 2017-09-13
17
NVIDIA/SkillEvaluator

Framework multilivello per valutare le competenze e i plugin degli agenti IA, con controlli di qualità, scansione di sicurezza, verifiche di compatibilità con l’ambiente di test, rilevamento di sovrapposizioni semantiche, generazione di set di dati sintetici per la valutazione e valutazione degli agenti in tempo reale, che misura in che modo le competenze influenzano il comportamento dell’agente. Include modelli CI riutilizzabili che consentono di integrare tutti i controlli in qualsiasi repository.

NVIDIA
⭐ 4,300 Python 👤 NVIDIA Organization 🕐 Aggiornato 2026-11-21 📅 Creato 2026-06-24
18
modelscope/evalscope

Un framework snello e personalizzabile per la valutazione efficiente e il benchmarking delle prestazioni di modelli di grandi dimensioni (LLM, VLM, AIGC).

modelscope
⭐ 3,715 Python 👤 modelscope Organization 🕐 Aggiornato 2026-11-20 📅 Creato 2023-12-07
19
embeddings-benchmark/mteb

MTEB: Valutazione all'avanguardia degli embedding attraverso lingue e modalità

embeddings-benchmark
⭐ 3,519 Python 👤 embeddings-benchmark Organization 🕐 Aggiornato 2026-11-21 📅 Creato 2022-04-05
20
lmnr-ai/lmnr

Laminar - piattaforma di osservabilità open source realizzata appositamente per gli agenti IA. YC S24.

lmnr-ai
⭐ 3,516 TypeScript 👤 lmnr-ai Organization 🕐 Aggiornato 2026-11-20 📅 Creato 2024-08-29
21
CLUEbenchmark/SuperCLUE

SuperCLUE: Benchmark completo per modelli linguistici di grandi dimensioni in cinese | Un benchmark per modelli di fondazione in cinese

CLUEbenchmark
⭐ 3,308 👤 CLUEbenchmark Organization 🕐 Aggiornato 2026-02-06 📅 Creato 2023-05-02
22
viebel/klipse

Klipse è un plugin JavaScript per incorporare snippet di codice interattivi nei blog tecnici.

viebel
⭐ 3,134 HTML 👤 viebel User 🕐 Aggiornato 2024-10-01 📅 Creato 2015-11-19
23
ianarawjo/ChainForge

Un ambiente di programmazione visuale open-source per collaudare i prompt per gli LLM.

ianarawjo
⭐ 3,044 TypeScript 👤 ianarawjo User 🕐 Aggiornato 2026-10-29 📅 Creato 2023-03-26
24
microsoft/promptbench

Un framework di valutazione unificato per modelli linguistici di grandi dimensioni

microsoft
⭐ 2,786 Python 👤 microsoft Organization 🕐 Aggiornato 2026-02-20 📅 Creato 2023-06-13
25
yaojingang/yao-meta-skill

YAO = Ottenere Risultati di IA. Un sistema rigoroso di ingegneria, valutazione, governance e portabilità per competenze di agenti riutilizzabili.

yaojingang
⭐ 2,739 Python 👤 yaojingang User 🕐 Aggiornato 2026-11-09 📅 Creato 2026-03-31
26
huggingface/lighteval

Lighteval è il tuo toolkit all-in-one per la valutazione di LLM su più backend

huggingface
⭐ 2,587 Python 👤 huggingface Organization 🕐 Aggiornato 2026-11-18 📅 Creato 2024-01-26
27
huggingface/evaluate

🤗 Evaluate: Una libreria per valutare facilmente modelli e dataset di machine learning.

huggingface
⭐ 2,498 Python 👤 huggingface Organization 🕐 Aggiornato 2026-11-16 📅 Creato 2022-03-30
28
1517005260/graph-rag-agent

RAG assemblato: Grafi RAG, LightRAG e Neo4j-llm-graph-builder assemblati e fusi manualmente per la costruzione e la ricerca di grafi di conoscenza; tecnologia DeepSearch integrata per il ragionamento RAG di dominio privato; framework di valutazione personalizzato per GraphRAG creato autonomamente.

1517005260
⭐ 2,355 Python 👤 1517005260 User 🕐 Aggiornato 2025-11-05 📅 Creato 2025-02-12
29
uptrain-ai/uptrain

UpTrain è una piattaforma unificata open-source per valutare e migliorare le applicazioni generative di AI. Forniamo valutazioni per oltre 20 controlli preconfigurati (che coprono casi d'uso di linguaggio, codice, embedding), eseguiamo analisi delle cause principali sui casi di fallimento e forniamo approfondimenti su come risolverli.

uptrain-ai
⭐ 2,337 Python 👤 uptrain-ai Organization 🕐 Aggiornato 2024-08-18 📅 Creato 2022-11-07
30
MCPJam/inspector

Piattaforma di test e valutazione per chattare, ispezionare e eseguire il debug di server MCP, app MCP e app ChatGPT.

MCPJam
⭐ 2,331 TypeScript 👤 MCPJam Organization 🕐 Aggiornato 2026-11-21 📅 Creato 2025-05-23
31
Sahir619/fable-method

Il flusso di lavoro Fable: come funzionava Claude Fable 5, distillato in competenze che qualsiasi modello può eseguire, con la valutazione che lo mantiene onesto. Pensa / agisci / dimostra.

Sahir619
⭐ 2,324 Python 👤 Sahir619 User 🕐 Aggiornato 2026-10-03 📅 Creato 2026-07-06
32
Xnhyacinth/Awesome-LLM-Long-Context-Modeling

📰 Articoli e blog imperdibili sulla modellazione del contesto lungo basata su LLM 🔥

Xnhyacinth
⭐ 2,191 👤 Xnhyacinth User 🕐 Aggiornato 2026-11-13 📅 Creato 2023-09-17
33
huggingface/evaluation-guidebook

Condivisione di approfondimenti pratici e conoscenze teoriche sulla valutazione degli LLM, raccolti durante la gestione della Open LLM Leaderboard e la progettazione di lighteval!

huggingface
⭐ 2,166 Jupyter Notebook 👤 huggingface Organization 🕐 Aggiornato 2025-12-03 📅 Creato 2024-10-09
34
ContinualAI/avalanche

Avalanche: una libreria end-to-end per l'apprendimento continuo basata su PyTorch.

ContinualAI
⭐ 2,054 Python 👤 ContinualAI Organization 🕐 Aggiornato 2025-03-11 📅 Creato 2020-03-05
35
Cloud-CV/EvalAI

:cloud: :rocket: :bar_chart: :chart_with_upwards_trend: Valutazione dello stato dell'arte nell'IA

Cloud-CV
⭐ 2,049 Python 👤 Cloud-CV Organization 🕐 Aggiornato 2026-11-14 📅 Creato 2016-10-21
36
tatsu-lab/alpaca_eval

Un valutatore automatico per modelli linguistici che seguono istruzioni. Validato dagli esseri umani, di alta qualità, economico e veloce.

tatsu-lab
⭐ 2,010 Jupyter Notebook 👤 tatsu-lab Organization 🕐 Aggiornato 2025-08-09 📅 Creato 2023-05-25
37
trpc-group/trpc-agent-go

Un framework Go per costruire sistemi di agenti in produzione con flussi di lavoro a grafo, strumenti, memoria, A2A, AG-UI, MCP, valutazione e osservabilità.

trpc-group
⭐ 1,940 Go 👤 trpc-group Organization 🕐 Aggiornato 2026-11-21 📅 Creato 2025-05-14
38
xinshuoweng/AB3DMOT

(IROS 2020, ECCVW 2020) Implementazione ufficiale in Python per "3D Multi-Object Tracking: A Baseline and New Evaluation Metrics"

xinshuoweng
⭐ 1,805 Python 👤 xinshuoweng User 🕐 Aggiornato 2024-04-03 📅 Creato 2019-06-19
39
onestardao/WFGY

WFGY si sta dirigendo verso WFGY 5.0 Polaris Protocol, un'importante release open-source per il ragionamento IA, RAG, agenti e flussi di lavoro del mondo reale. Include Problem Map, Global Debug Card, WFGY 4.0 e l'uovo di Pasqua CFV.

onestardao
⭐ 1,804 Jupyter Notebook 👤 onestardao User 🕐 Aggiornato 2026-11-21 📅 Creato 2025-06-04
40
SmartFlowAI/EmoLLM

Modelli per la salute mentale (LLM x Salute Mentale), Pre e Post-allenamento & Dataset & Valutazione & Distribuzione & RAG, con modelli delle serie InternLM / Qwen / Baichuan / DeepSeek / Mixtral / LLama / GLM

SmartFlowAI
⭐ 1,797 Python 👤 SmartFlowAI Organization 🕐 Aggiornato 2026-06-18 📅 Creato 2024-01-11
41
deepsense-ai/ragbits

Blocchi fondamentali per lo sviluppo rapido di applicazioni GenAI

deepsense-ai
⭐ 1,678 Python 👤 deepsense-ai Organization 🕐 Aggiornato 2026-05-18 📅 Creato 2024-09-02
42
MLGroupJLU/LLM-eval-survey

La pagina ufficiale di GitHub per l'articolo di sintesi "A Survey on Evaluation of Large Language Models".

MLGroupJLU
⭐ 1,615 👤 MLGroupJLU User 🕐 Aggiornato 2026-11-18 📅 Creato 2023-07-02
43
sepandhaghighi/pycm

Libreria per matrice di confusione multi-classe in Python

sepandhaghighi
⭐ 1,507 Python 👤 sepandhaghighi User 🕐 Aggiornato 2026-11-16 📅 Creato 2018-01-22
44
Maluuba/nlg-eval

Codice di valutazione per varie metriche automatizzate non supervisionate per la Generazione del Linguaggio Naturale.

Maluuba
⭐ 1,391 Python 👤 Maluuba Organization 🕐 Aggiornato 2024-08-20 📅 Creato 2017-06-27
45
NVIDIA-NeMo/Gym

Valutare e migliorare modelli e agenti utilizzando ambienti

NVIDIA-NeMo
⭐ 1,347 Python 👤 NVIDIA-NeMo Organization 🕐 Aggiornato 2026-11-21 📅 Creato 2025-08-25
46
ScalingIntelligence/KernelBench

KernelBench: Gli LLM possono scrivere kernel GPU? - Benchmark + Toolkit con Torch -> CUDA (+ più DSL)

ScalingIntelligence
⭐ 1,336 Jupyter Notebook 👤 ScalingIntelligence Organization 🕐 Aggiornato 2026-03-24 📅 Creato 2024-10-25
47
TIGER-AI-Lab/ClawBench

Benchmark open-source per agenti AI del browser su attività quotidiane.

TIGER-AI-Lab
⭐ 1,325 Python 👤 TIGER-AI-Lab Organization 🕐 Aggiornato 2026-11-05 📅 Creato 2026-04-10
48
abo-abo/lispy

Modifica LISP breve e concisa

abo-abo
⭐ 1,297 Emacs Lisp 👤 abo-abo User 🕐 Aggiornato 2026-01-23 📅 Creato 2014-01-10
49
EthicalML/xai

XAI - Una cassetta degli attrezzi di eXplicabilità per l'apprendimento automatico

EthicalML
⭐ 1,270 Python 👤 EthicalML Organization 🕐 Aggiornato 2025-11-29 📅 Creato 2019-01-11
50
plurai-ai/intellagent

Un framework per la diagnosi completa e l'ottimizzazione di agenti utilizzando interazioni sintetiche simulate e realistiche

plurai-ai
⭐ 1,266 Python 👤 plurai-ai Organization 🕐 Aggiornato 2026-09-14 📅 Creato 2024-10-28

Domande frequenti

1

Qual è il repository #evaluation più popolare su GitHub?

Il progetto open source #evaluation più alto in classifica su GitHub è lm-sys/FastChat, con 39,550 stelle. Una piattaforma aperta per l'addestramento, il serving e la valutazione di modelli linguistici di grandi dimensioni. Repository di rilascio per Vicuna e Chatbot Arena.

2

Quali linguaggi di programmazione sono più utilizzati nei repository #evaluation?

Tra i progetti #evaluation più alti in classifica su GitHub, i linguaggi di programmazione più comuni sono Python, TypeScript, Jupyter Notebook, Go.

3

Come viene calcolata la classifica dei repository #evaluation?

Monitoriamo 89 repository open source attivi contrassegnati con #evaluation (500+ stelle), per un totale di 369,872 stelle e una media di 4,155 stelle per repository. Le classifiche vengono aggiornate quotidianamente tramite l’API di GitHub.