#llm-evaluation Repository
108 repository in totale
Un ambiente non saturo e aperto per la valutazione di LLM in Factorio
[JMLR 2026] UQLM: un pacchetto Python per rilevare le allucinazioni dei modelli linguistici di grandi dimensioni mediante la quantificazione dellโincertezza
Una raccolta di notebook/ricette che illustrano casi d'uso di modelli open-source con Together AI.
Weave รจ un toolkit per lo sviluppo di applicazioni basate sull'intelligenza artificiale, creato da Weights & Biases.
Un benchmark per le decisioni cliniche basato sullโevidenza: estrarre lโunico fatto su cui si fonda una risposta e verificare se lโazione dellโassistente cambia in base allโevidenza. Costruito su HealthBench.
CI/CD nativo delle tracce per agenti di IA: gli errori in produzione diventano test di regressione che bloccano la PR. Rilevamento e raggruppamento automatici, congelamento in casi ermetici e riproduzione in CI a costo zero.
AutoEvals รจ uno strumento per valutare rapidamente e facilmente gli output dei modelli AI utilizzando le best practice.
OrcaReplay โ Viaggio nel tempo per agenti IA. Registra, riproduci, crea fork ed esegui il debug di qualsiasi esecuzione di un agente con qualsiasi modello. Realizzato dal team di OrcaRouter.ai.
Lo stack di miglioramento continuo per agenti. I nostri dati ambientali e le nostre valutazioni alimentano il miglioramento e il monitoraggio degli agenti.
Una libreria curata e senza fronzoli delle migliori risorse per costruire e valutare agenti AI โ articoli, blog, talk, strumenti, benchmark. Mantenuta da BenchFlow.
FactCircuit: un ciclo verificabile di controllo di affermazioni ed evidenze, con provenienza immutabile, verifiche a fasi, recupero vincolato e valutazione riproducibile.
[ICLR 2025 Oral] Spider 2.0: Valutazione di modelli linguistici su flussi di lavoro Text-to-SQL reali in ambito aziendale
CI/CD nativo delle tracce per agenti IA: valuta le tracce di produzione, raggruppa gli errori, trasformali in test di regressione riproducibili e blocca le PR che introducono regressioni. Ospitabile autonomamente.
Un test runner per le competenze degli agenti IA in stile agentskills.io
Gli articoli sono organizzati secondo la nostra indagine: Evaluating Large Language Models: A Comprehensive Survey.
GAOKAO-Bench รจ un framework di valutazione che utilizza le domande GAOKAO come set di dati per valutare i grandi modelli linguistici.
Infrastruttura open source che trasforma file SKILL.md sparsi in corpus di competenze per agenti, curati e pronti per il recupero, includendo strumenti per il recupero e la valutazione.
Awesome-LLM-Eval: un elenco curato di strumenti, set di dati/benchmark, demo, classifiche, articoli, documenti e modelli, principalmente per la valutazione dei LLM. Un elenco curato di strumenti, benchmark/dati, demo, classifiche e modelli di grandi dimensioni, principalmente focalizzato sulla valutazione dei modelli di base di grandi dimensioni, con l'obiettivo di esplorare i confini tecnologici dell'IA generativa.
Tutorial in cinese di Stanford CS329Z Engineering AI Agents: un corso sugli agenti IA per sviluppatori Python, con 19 lezioni e 4 progetti pratici, che tratta LLM, RAG, chiamate agli strumenti, memoria, sistemi multi-agente, valutazione e sicurezza. Markdown completo e HTML per lโuso online e offline. Appunti del corso in cinese.
Articoli eccezionali che coinvolgono LLM nelle scienze sociali.
Benchmark di valutazione per i LLM nel dominio DevOps/AIOps, primo nel suo genere nel settore.
[ICML 2024] TrustLLM: valutazione dellโaffidabilitร degli LLM in termini di veridicitร , sicurezza, equitร , robustezza, privacy ed etica. Toolkit Python/CLI per modelli locali, API compatibili e orchestrazione di agenti IA.
Un Progetto Open Source di Apprendimento per Rinforzo su Larga Scala per Agenti di Ricerca
MCP-Universe รจ un framework completo progettato per l'allenamento RL, il benchmarking e lo sviluppo di agenti AI per l'uso generale degli strumenti.
Il repository ufficiale per l'articolo, LLMs-as-Judges: Una survey completa sui metodi di valutazione basati su LLM.
Gateway MCP e server MCP con OAuth. Agente LangGraph: memoria, valutazione/tracciamento, protezione dei dati personali (PII) e riduzione del contesto. Guida rapida per avviare con Docker gli agenti aziendali.
Un'enciclopedia di tecniche di jailbreaking per rendere piรน sicuri i modelli di intelligenza artificiale.
Agente di ricerca azionaria basato sullโIA, con flussi di lavoro resilienti, RAG fondato su evidenze, report versionati e valutazione automatizzata della qualitร .
Questo รจ il repository di HaluEval, un benchmark su larga scala per la valutazione delle allucinazioni per modelli linguistici di grandi dimensioni.