Git Stars Git Stars

#llm-evaluation Repository

108
Totale Repository
444,825
Totale stelle
4,118
Media Stelle/Repo
51
JackHopkins/factorio-learning-environment

Un ambiente non saturo e aperto per la valutazione di LLM in Factorio

JackHopkins
โญ 1,224 Python ๐Ÿ‘ค JackHopkins User ๐Ÿ• Aggiornato 2026-09-18 ๐Ÿ“… Creato 2021-06-19
52
cvs-health/uqlm

[JMLR 2026] UQLM: un pacchetto Python per rilevare le allucinazioni dei modelli linguistici di grandi dimensioni mediante la quantificazione dellโ€™incertezza

cvs-health
โญ 1,215 Python ๐Ÿ‘ค cvs-health Organization ๐Ÿ• Aggiornato 2026-11-08 ๐Ÿ“… Creato 2025-04-17
โญ 1,208 Python ๐Ÿ‘ค huggingface Organization ๐Ÿ• Aggiornato 2026-01-10 ๐Ÿ“… Creato 2025-01-17
54
togethercomputer/together-cookbook

Una raccolta di notebook/ricette che illustrano casi d'uso di modelli open-source con Together AI.

togethercomputer
โญ 1,191 Jupyter Notebook ๐Ÿ‘ค togethercomputer Organization ๐Ÿ• Aggiornato 2026-11-18 ๐Ÿ“… Creato 2024-10-07
55
wandb/weave

Weave รจ un toolkit per lo sviluppo di applicazioni basate sull'intelligenza artificiale, creato da Weights & Biases.

wandb
โญ 1,151 Python ๐Ÿ‘ค wandb Organization ๐Ÿ• Aggiornato 2026-11-20 ๐Ÿ“… Creato 2023-06-07
56
xinxuxin/keystone-bench

Un benchmark per le decisioni cliniche basato sullโ€™evidenza: estrarre lโ€™unico fatto su cui si fonda una risposta e verificare se lโ€™azione dellโ€™assistente cambia in base allโ€™evidenza. Costruito su HealthBench.

xinxuxin
โญ 1,130 Python ๐Ÿ‘ค xinxuxin User ๐Ÿ• Aggiornato 2026-10-19 ๐Ÿ“… Creato 2026-09-07
57
Jwuthri/Tracely-ai

CI/CD nativo delle tracce per agenti di IA: gli errori in produzione diventano test di regressione che bloccano la PR. Rilevamento e raggruppamento automatici, congelamento in casi ermetici e riproduzione in CI a costo zero.

Jwuthri
โญ 1,122 Python ๐Ÿ‘ค Jwuthri User ๐Ÿ• Aggiornato 2026-11-21 ๐Ÿ“… Creato 2026-06-03
58
Arena-OSS/arena-hard-auto

Arena-Hard-Auto: Un benchmark LLM automatico.

Arena-OSS
โญ 1,087 Python ๐Ÿ‘ค Arena-OSS Organization ๐Ÿ• Aggiornato 2026-11-20 ๐Ÿ“… Creato 2023-11-04
59
braintrustdata/autoevals

AutoEvals รจ uno strumento per valutare rapidamente e facilmente gli output dei modelli AI utilizzando le best practice.

braintrustdata
โญ 1,087 Python ๐Ÿ‘ค braintrustdata Organization ๐Ÿ• Aggiornato 2026-11-19 ๐Ÿ“… Creato 2023-07-11
60
Continuum-AI-Corp/OrcaReplay

OrcaReplay โ€” Viaggio nel tempo per agenti IA. Registra, riproduci, crea fork ed esegui il debug di qualsiasi esecuzione di un agente con qualsiasi modello. Realizzato dal team di OrcaRouter.ai.

Continuum-AI-Corp
โญ 1,083 TypeScript ๐Ÿ‘ค Continuum-AI-Corp Organization ๐Ÿ• Aggiornato 2026-10-01 ๐Ÿ“… Creato 2026-08-29
โญ 1,083 Python ๐Ÿ‘ค bytedance Organization ๐Ÿ• Aggiornato 2026-07-14 ๐Ÿ“… Creato 2024-10-16
62
JudgmentLabs/judgeval

Lo stack di miglioramento continuo per agenti. I nostri dati ambientali e le nostre valutazioni alimentano il miglioramento e il monitoraggio degli agenti.

JudgmentLabs
โญ 1,073 Python ๐Ÿ‘ค JudgmentLabs Organization ๐Ÿ• Aggiornato 2026-11-19 ๐Ÿ“… Creato 2024-10-25
63
ray-project/llmperf

LLMPerf รจ una libreria per la convalida e il benchmarking di LLM

ray-project
โญ 1,066 Python ๐Ÿ‘ค ray-project Organization ๐Ÿ• Aggiornato 2024-12-09 ๐Ÿ“… Creato 2023-10-10
64
benchflow-ai/awesome-evals

Una libreria curata e senza fronzoli delle migliori risorse per costruire e valutare agenti AI โ€” articoli, blog, talk, strumenti, benchmark. Mantenuta da BenchFlow.

benchflow-ai
โญ 1,049 ๐Ÿ‘ค benchflow-ai Organization ๐Ÿ• Aggiornato 2026-11-04 ๐Ÿ“… Creato 2026-06-24
65
amazon-science/RAGChecker

RAGChecker: Un framework a grana fine per diagnosticare RAG

amazon-science
โญ 1,032 Python ๐Ÿ‘ค amazon-science Organization ๐Ÿ• Aggiornato 2024-12-13 ๐Ÿ“… Creato 2024-06-24
66
majacinka/crewai-experiments

Esperimenti con modelli locali e modelli disponibili tramite API

majacinka
โญ 1,006 Python ๐Ÿ‘ค majacinka User ๐Ÿ• Aggiornato 2024-05-05 ๐Ÿ“… Creato 2024-01-13
67
KCORES/kcores-llm-arena

LLM Arena del team KCORES

KCORES
โญ 960 HTML ๐Ÿ‘ค KCORES Organization ๐Ÿ• Aggiornato 2025-04-29 ๐Ÿ“… Creato 2025-02-12
68
superwesleyhys-ux/factcircuit

FactCircuit: un ciclo verificabile di controllo di affermazioni ed evidenze, con provenienza immutabile, verifiche a fasi, recupero vincolato e valutazione riproducibile.

superwesleyhys-ux
โญ 926 Python ๐Ÿ‘ค superwesleyhys-ux User ๐Ÿ• Aggiornato 2026-11-13 ๐Ÿ“… Creato 2026-09-06
โญ 922 Python ๐Ÿ‘ค WeOpenML Organization ๐Ÿ• Aggiornato 2024-05-22 ๐Ÿ“… Creato 2023-04-30
70
hinthornw/promptimizer

Scratch di ottimizzazione del prompt

hinthornw
โญ 899 Python ๐Ÿ‘ค hinthornw User ๐Ÿ• Aggiornato 2025-04-17 ๐Ÿ“… Creato 2024-10-30
71
xlang-ai/Spider2

[ICLR 2025 Oral] Spider 2.0: Valutazione di modelli linguistici su flussi di lavoro Text-to-SQL reali in ambito aziendale

xlang-ai
โญ 890 HTML ๐Ÿ‘ค xlang-ai Organization ๐Ÿ• Aggiornato 2026-08-12 ๐Ÿ“… Creato 2024-08-22
72
yule-BUAA/MergeLM

Codebase per la fusione di modelli linguistici (ICML 2024)

yule-BUAA
โญ 862 Python ๐Ÿ‘ค yule-BUAA User ๐Ÿ• Aggiornato 2024-05-05 ๐Ÿ“… Creato 2023-11-06
73
jwuthri-cloud/Tracely-ai

CI/CD nativo delle tracce per agenti IA: valuta le tracce di produzione, raggruppa gli errori, trasformali in test di regressione riproducibili e blocca le PR che introducono regressioni. Ospitabile autonomamente.

jwuthri-cloud
โญ 850 Python ๐Ÿ‘ค jwuthri-cloud User ๐Ÿ• Aggiornato 2026-11-16 ๐Ÿ“… Creato 2026-10-11
74
darkrishabh/agent-skills-eval

Un test runner per le competenze degli agenti IA in stile agentskills.io

darkrishabh
โญ 819 TypeScript ๐Ÿ‘ค darkrishabh User ๐Ÿ• Aggiornato 2026-11-16 ๐Ÿ“… Creato 2026-05-06
75
tjunlp-lab/Awesome-LLMs-Evaluation-Papers

Gli articoli sono organizzati secondo la nostra indagine: Evaluating Large Language Models: A Comprehensive Survey.

tjunlp-lab
โญ 791 ๐Ÿ‘ค tjunlp-lab User ๐Ÿ• Aggiornato 2024-05-08 ๐Ÿ“… Creato 2023-10-29
77
overmind-core/overmind

La piattaforma per migliorare continuamente gli agenti di IA.

overmind-core
โญ 771 Python ๐Ÿ‘ค overmind-core Organization ๐Ÿ• Aggiornato 2026-11-21 ๐Ÿ“… Creato 2026-03-27
79
OpenLMLab/GAOKAO-Bench

GAOKAO-Bench รจ un framework di valutazione che utilizza le domande GAOKAO come set di dati per valutare i grandi modelli linguistici.

OpenLMLab
โญ 754 Python ๐Ÿ‘ค OpenLMLab Organization ๐Ÿ• Aggiornato 2025-01-07 ๐Ÿ“… Creato 2023-04-16
80
EverMind-AI/SkillCorpus

Infrastruttura open source che trasforma file SKILL.md sparsi in corpus di competenze per agenti, curati e pronti per il recupero, includendo strumenti per il recupero e la valutazione.

EverMind-AI
โญ 706 Python ๐Ÿ‘ค EverMind-AI Organization ๐Ÿ• Aggiornato 2026-11-19 ๐Ÿ“… Creato 2026-08-11
81
Steven-Luo/MasteringRAG

Sistema RAG Enterprise: dall'introduzione alla maestria

Steven-Luo
โญ 699 Jupyter Notebook ๐Ÿ‘ค Steven-Luo User ๐Ÿ• Aggiornato 2025-06-25 ๐Ÿ“… Creato 2024-07-16
82
mlabonne/llm-autoeval

Valuta automaticamente i tuoi LLM in Google Colab

mlabonne
โญ 678 Python ๐Ÿ‘ค mlabonne User ๐Ÿ• Aggiornato 2024-05-07 ๐Ÿ“… Creato 2024-01-01
83
onejune2018/Awesome-LLM-Eval

Awesome-LLM-Eval: un elenco curato di strumenti, set di dati/benchmark, demo, classifiche, articoli, documenti e modelli, principalmente per la valutazione dei LLM. Un elenco curato di strumenti, benchmark/dati, demo, classifiche e modelli di grandi dimensioni, principalmente focalizzato sulla valutazione dei modelli di base di grandi dimensioni, con l'obiettivo di esplorare i confini tecnologici dell'IA generativa.

onejune2018
โญ 661 ๐Ÿ‘ค onejune2018 User ๐Ÿ• Aggiornato 2025-11-24 ๐Ÿ“… Creato 2023-04-26
84
wanghao-SunSky/cs329z-chinese

Tutorial in cinese di Stanford CS329Z Engineering AI Agents: un corso sugli agenti IA per sviluppatori Python, con 19 lezioni e 4 progetti pratici, che tratta LLM, RAG, chiamate agli strumenti, memoria, sistemi multi-agente, valutazione e sicurezza. Markdown completo e HTML per lโ€™uso online e offline. Appunti del corso in cinese.

wanghao-SunSky
โญ 658 HTML ๐Ÿ‘ค wanghao-SunSky User ๐Ÿ• Aggiornato 2026-11-06 ๐Ÿ“… Creato 2026-10-28
85
ValueByte-AI/Awesome-LLM-in-Social-Science

Articoli eccezionali che coinvolgono LLM nelle scienze sociali.

ValueByte-AI
โญ 652 ๐Ÿ‘ค ValueByte-AI Organization ๐Ÿ• Aggiornato 2026-11-14 ๐Ÿ“… Creato 2023-10-15
86
codefuse-ai/codefuse-devops-eval

Benchmark di valutazione per i LLM nel dominio DevOps/AIOps, primo nel suo genere nel settore.

codefuse-ai
โญ 646 Python ๐Ÿ‘ค codefuse-ai Organization ๐Ÿ• Aggiornato 2024-07-10 ๐Ÿ“… Creato 2023-09-28
87
onyx-dot-app/EnterpriseRAG-Bench

Dataset e benchmark per RAG su documenti interni aziendali.

onyx-dot-app
โญ 639 ๐Ÿ‘ค onyx-dot-app Organization ๐Ÿ• Aggiornato 2026-09-03 ๐Ÿ“… Creato 2026-02-19
88
HowieHwong/TrustLLM

[ICML 2024] TrustLLM: valutazione dellโ€™affidabilitร  degli LLM in termini di veridicitร , sicurezza, equitร , robustezza, privacy ed etica. Toolkit Python/CLI per modelli locali, API compatibili e orchestrazione di agenti IA.

HowieHwong
โญ 635 Python ๐Ÿ‘ค HowieHwong User ๐Ÿ• Aggiornato 2026-10-04 ๐Ÿ“… Creato 2023-12-23
89
inclusionAI/ASearcher

Un Progetto Open Source di Apprendimento per Rinforzo su Larga Scala per Agenti di Ricerca

inclusionAI
โญ 617 Python ๐Ÿ‘ค inclusionAI Organization ๐Ÿ• Aggiornato 2025-11-26 ๐Ÿ“… Creato 2025-08-05
90
mlfoundations/evalchemy

Valutazioni automatiche per LLM

mlfoundations
โญ 617 HTML ๐Ÿ‘ค mlfoundations Organization ๐Ÿ• Aggiornato 2026-11-12 ๐Ÿ“… Creato 2024-11-15
โญ 608 TypeScript ๐Ÿ‘ค T3-Content Organization ๐Ÿ• Aggiornato 2026-02-20 ๐Ÿ“… Creato 2025-05-29
92
SalesforceAIResearch/MCP-Universe

MCP-Universe รจ un framework completo progettato per l'allenamento RL, il benchmarking e lo sviluppo di agenti AI per l'uso generale degli strumenti.

SalesforceAIResearch
โญ 606 Python ๐Ÿ‘ค SalesforceAIResearch Organization ๐Ÿ• Aggiornato 2026-10-08 ๐Ÿ“… Creato 2025-05-02
93
CSHaitao/Awesome-LLMs-as-Judges

Il repository ufficiale per l'articolo, LLMs-as-Judges: Una survey completa sui metodi di valutazione basati su LLM.

CSHaitao
โญ 600 ๐Ÿ‘ค CSHaitao User ๐Ÿ• Aggiornato 2025-07-29 ๐Ÿ“… Creato 2024-11-10
94
harish-gaggar/mcp-server-gateway

Gateway MCP e server MCP con OAuth. Agente LangGraph: memoria, valutazione/tracciamento, protezione dei dati personali (PII) e riduzione del contesto. Guida rapida per avviare con Docker gli agenti aziendali.

harish-gaggar
โญ 588 Python ๐Ÿ‘ค harish-gaggar User ๐Ÿ• Aggiornato 2026-10-03 ๐Ÿ“… Creato 2026-08-17
95
yfzhang114/Thyme

โœจโœจ [ICLR 2026] Pensa oltre le immagini

yfzhang114
โญ 585 Python ๐Ÿ‘ค yfzhang114 User ๐Ÿ• Aggiornato 2025-09-23 ๐Ÿ“… Creato 2025-08-17
96
General-Analysis/GA

Un'enciclopedia di tecniche di jailbreaking per rendere piรน sicuri i modelli di intelligenza artificiale.

General-Analysis
โญ 583 Jupyter Notebook ๐Ÿ‘ค General-Analysis Organization ๐Ÿ• Aggiornato 2025-05-26 ๐Ÿ“… Creato 2025-01-18
โญ 583 ๐Ÿ‘ค llm-as-a-judge Organization ๐Ÿ• Aggiornato 2026-05-21 ๐Ÿ“… Creato 2024-11-24
98
juanjuandog/FinSight-AI

Agente di ricerca azionaria basato sullโ€™IA, con flussi di lavoro resilienti, RAG fondato su evidenze, report versionati e valutazione automatizzata della qualitร .

juanjuandog
โญ 562 Java ๐Ÿ‘ค juanjuandog User ๐Ÿ• Aggiornato 2026-09-02 ๐Ÿ“… Creato 2026-05-11
โญ 556 Python ๐Ÿ‘ค Vahe1994 User ๐Ÿ• Aggiornato 2026-02-08 ๐Ÿ“… Creato 2023-06-05
100
RUCAIBox/HaluEval

Questo รจ il repository di HaluEval, un benchmark su larga scala per la valutazione delle allucinazioni per modelli linguistici di grandi dimensioni.

RUCAIBox
โญ 540 Python ๐Ÿ‘ค RUCAIBox Organization ๐Ÿ• Aggiornato 2024-02-12 ๐Ÿ“… Creato 2023-05-18