#evaluation Repository
Scopri 89 repository GitHub open source attivi contrassegnati con #evaluation, che raccolgono un totale di 369,872 stelle (con una media di 4,155 stelle per progetto). Il progetto leader di questo argomento è lm-sys/FastChat, con 39,550 stelle.
89 repository in totale
Una piattaforma aperta per l'addestramento, il serving e la valutazione di modelli linguistici di grandi dimensioni. Repository di rilascio per Vicuna e Chatbot Arena.
Piattaforma open-source per la conoscenza LLM: trasforma documenti grezzi in un RAG interrogabile, un agente di ragionamento autonomo e un Wiki auto-mantenuto.
🪢 Piattaforma open source per l’ingegneria dell’IA: AI Gateway, osservabilità degli agenti, valutazioni e gestione di prompt e competenze, basata su OpenTelemetry. Un’unica piattaforma aperta per ogni chiamata IA e ogni agente. Puoi ospitarla autonomamente o usare Langfuse Cloud.
La piattaforma di ingegneria IA open source per agenti, LLM e modelli ML. MLflow consente a team di tutte le dimensioni di debuggare, valutare, monitorare e ottimizzare applicazioni IA di qualità produttiva controllando i costi e gestendo l'accesso a modelli e dati.
Testa i tuoi prompt, agenti e RAG. Red teaming/pentesting/scansione delle vulnerabilità per l'IA. Confronta le prestazioni di GPT, Claude, Gemini, DeepSeek e altri. Configurazioni dichiarative semplici con integrazione da riga di comando e CI/CD. Utilizzato da OpenAI e Anthropic.
Esegui il debug, valuta e monitora le tue applicazioni LLM, i sistemi RAG e i flussi di lavoro agentic con tracing completo, valutazioni automatizzate e dashboard pronti per la produzione.
OpenCompass è una piattaforma per la valutazione dei modelli linguistici di grandi dimensioni (LLM) che supporta un’ampia gamma di modelli di OpenAI, Anthropic, Gemini, Qwen, GLM, DeepSeek, ecc., su oltre 100 dataset riguardanti conoscenza, ragionamento, programmazione, scienza, linguaggio, contesti lunghi e sicurezza.
达尔文.skill —— Un sistema che fa evolvere infinitamente i tuoi Skill: valutazione→miglioramento→test→mantieni o rollback | Ottimizzazione autonoma delle skill ispirata ad Autoresearch per Claude Code. Valuta, migliora, testa, mantieni o reverting.
🧊 Piattaforma open source per l'osservabilità di LLM. Una riga di codice per monitorare, valutare e sperimentare. YC W23 🍓
Piattaforma di ottimizzazione per agenti AI di nuova generazione: Cozeloop affronta le sfide nello sviluppo di agenti AI fornendo capacità di gestione dell'intero ciclo di vita, dallo sviluppo, al debug, alla valutazione fino al monitoraggio.
Costruire, Valutare e Ottimizzare i Sistemi di IA. Include valutazioni (evals), RAG, agenti, messa a punto (fine-tuning), generazione di dati sintetici, gestione dei set di dati, MCP e altro ancora.
Osservabilità e valutazione open source degli agenti per i team di piattaforma AI. Traccia, testa, indirizza e governa ogni agente e assistente di programmazione dell’azienda.
Toolkit di valutazione multimodale One-for-All per attività testuali, di immagini, video e audio
Toolkit di valutazione open-source per modelli multimodali di grandi dimensioni (LMM), supporta 220+ LMM, 80+ benchmark
Framework multilivello per valutare le competenze e i plugin degli agenti IA, con controlli di qualità, scansione di sicurezza, verifiche di compatibilità con l’ambiente di test, rilevamento di sovrapposizioni semantiche, generazione di set di dati sintetici per la valutazione e valutazione degli agenti in tempo reale, che misura in che modo le competenze influenzano il comportamento dell’agente. Include modelli CI riutilizzabili che consentono di integrare tutti i controlli in qualsiasi repository.
Un framework snello e personalizzabile per la valutazione efficiente e il benchmarking delle prestazioni di modelli di grandi dimensioni (LLM, VLM, AIGC).
MTEB: Valutazione all'avanguardia degli embedding attraverso lingue e modalità
Laminar - piattaforma di osservabilità open source realizzata appositamente per gli agenti IA. YC S24.
SuperCLUE: Benchmark completo per modelli linguistici di grandi dimensioni in cinese | Un benchmark per modelli di fondazione in cinese
Klipse è un plugin JavaScript per incorporare snippet di codice interattivi nei blog tecnici.
Un ambiente di programmazione visuale open-source per collaudare i prompt per gli LLM.
Un framework di valutazione unificato per modelli linguistici di grandi dimensioni
YAO = Ottenere Risultati di IA. Un sistema rigoroso di ingegneria, valutazione, governance e portabilità per competenze di agenti riutilizzabili.
Lighteval è il tuo toolkit all-in-one per la valutazione di LLM su più backend
🤗 Evaluate: Una libreria per valutare facilmente modelli e dataset di machine learning.
RAG assemblato: Grafi RAG, LightRAG e Neo4j-llm-graph-builder assemblati e fusi manualmente per la costruzione e la ricerca di grafi di conoscenza; tecnologia DeepSearch integrata per il ragionamento RAG di dominio privato; framework di valutazione personalizzato per GraphRAG creato autonomamente.
UpTrain è una piattaforma unificata open-source per valutare e migliorare le applicazioni generative di AI. Forniamo valutazioni per oltre 20 controlli preconfigurati (che coprono casi d'uso di linguaggio, codice, embedding), eseguiamo analisi delle cause principali sui casi di fallimento e forniamo approfondimenti su come risolverli.
Piattaforma di test e valutazione per chattare, ispezionare e eseguire il debug di server MCP, app MCP e app ChatGPT.
Il flusso di lavoro Fable: come funzionava Claude Fable 5, distillato in competenze che qualsiasi modello può eseguire, con la valutazione che lo mantiene onesto. Pensa / agisci / dimostra.
📰 Articoli e blog imperdibili sulla modellazione del contesto lungo basata su LLM 🔥
Condivisione di approfondimenti pratici e conoscenze teoriche sulla valutazione degli LLM, raccolti durante la gestione della Open LLM Leaderboard e la progettazione di lighteval!
Avalanche: una libreria end-to-end per l'apprendimento continuo basata su PyTorch.
:cloud: :rocket: :bar_chart: :chart_with_upwards_trend: Valutazione dello stato dell'arte nell'IA
Un valutatore automatico per modelli linguistici che seguono istruzioni. Validato dagli esseri umani, di alta qualità, economico e veloce.
Un framework Go per costruire sistemi di agenti in produzione con flussi di lavoro a grafo, strumenti, memoria, A2A, AG-UI, MCP, valutazione e osservabilità.
(IROS 2020, ECCVW 2020) Implementazione ufficiale in Python per "3D Multi-Object Tracking: A Baseline and New Evaluation Metrics"
WFGY si sta dirigendo verso WFGY 5.0 Polaris Protocol, un'importante release open-source per il ragionamento IA, RAG, agenti e flussi di lavoro del mondo reale. Include Problem Map, Global Debug Card, WFGY 4.0 e l'uovo di Pasqua CFV.
Modelli per la salute mentale (LLM x Salute Mentale), Pre e Post-allenamento & Dataset & Valutazione & Distribuzione & RAG, con modelli delle serie InternLM / Qwen / Baichuan / DeepSeek / Mixtral / LLama / GLM
La pagina ufficiale di GitHub per l'articolo di sintesi "A Survey on Evaluation of Large Language Models".
Codice di valutazione per varie metriche automatizzate non supervisionate per la Generazione del Linguaggio Naturale.
KernelBench: Gli LLM possono scrivere kernel GPU? - Benchmark + Toolkit con Torch -> CUDA (+ più DSL)
Un framework per la diagnosi completa e l'ottimizzazione di agenti utilizzando interazioni sintetiche simulate e realistiche
Domande frequenti
Qual è il repository #evaluation più popolare su GitHub?
Il progetto open source #evaluation più alto in classifica su GitHub è lm-sys/FastChat, con 39,550 stelle. Una piattaforma aperta per l'addestramento, il serving e la valutazione di modelli linguistici di grandi dimensioni. Repository di rilascio per Vicuna e Chatbot Arena.
Quali linguaggi di programmazione sono più utilizzati nei repository #evaluation?
Tra i progetti #evaluation più alti in classifica su GitHub, i linguaggi di programmazione più comuni sono Python, TypeScript, Jupyter Notebook, Go.
Come viene calcolata la classifica dei repository #evaluation?
Monitoriamo 89 repository open source attivi contrassegnati con #evaluation (500+ stelle), per un totale di 369,872 stelle e una media di 4,155 stelle per repository. Le classifiche vengono aggiornate quotidianamente tramite l’API di GitHub.