#llm-evaluation Repository
Scopri 108 repository GitHub open source attivi contrassegnati con #llm-evaluation, che raccolgono un totale di 444,825 stelle (con una media di 4,118 stelle per progetto). Il progetto leader di questo argomento è ifixai-ai/iFixAi, con 46,592 stelle.
108 repository in totale
Audit indipendente degli agenti IA. Eseguito da umani o dall'agente stesso, per rispondere alla domanda più cruciale nell'economia degli agenti IA: l'agente sta facendo ciò che dovrebbe fare? Con iFixAi puoi avere questa risposta in meno di 120 secondi.
🪢 Piattaforma open source per l’ingegneria dell’IA: AI Gateway, osservabilità degli agenti, valutazioni e gestione di prompt e competenze, basata su OpenTelemetry. Un’unica piattaforma aperta per ogni chiamata IA e ogni agente. Puoi ospitarla autonomamente o usare Langfuse Cloud.
La piattaforma di ingegneria IA open source per agenti, LLM e modelli ML. MLflow consente a team di tutte le dimensioni di debuggare, valutare, monitorare e ottimizzare applicazioni IA di qualità produttiva controllando i costi e gestendo l'accesso a modelli e dati.
Testa i tuoi prompt, agenti e RAG. Red teaming/pentesting/scansione delle vulnerabilità per l'IA. Confronta le prestazioni di GPT, Claude, Gemini, DeepSeek e altri. Configurazioni dichiarative semplici con integrazione da riga di comando e CI/CD. Utilizzato da OpenAI e Anthropic.
Esegui il debug, valuta e monitora le tue applicazioni LLM, i sistemi RAG e i flussi di lavoro agentic con tracing completo, valutazioni automatizzate e dashboard pronti per la produzione.
Evals è un framework per la valutazione di LLM e sistemi LLM e un registro open-source di benchmark.
Metti facilmente a punto (SFT/RL), valuta e distribuisci Qwen, Gemma o qualsiasi LLM/VLM agentico open source!
Una piattaforma full-stack di AI Red Teaming che protegge gli ecosistemi di IA tramite Agent Scan, Skills Scan, MCP Scan, AI Infra Scan e la valutazione dei jailbreak degli LLM.
NoneLinear - Valutazione ReLE: Valutazione delle capacità dei modelli di IA in cinese (aggiornamento continuo): Attualmente include 374 modelli, coprendo modelli commerciali come ChatGPT, GPT-5.4, Google Gemini-3.1-pro, Claude-4.6, Ernie-X1.1, Ernie-5.0, Qwen3.6-max, Qwen3.6-plus, Baichuan, iFlytek Spark, SenseChat, nonché modelli open source come Step3.5-flash, Kimi-k2.6, Ernie4.5, MiniMax-M2.7, DeepSeek-v4, Qwen3.6, Llama4, Zhipu GLM-5.1, MiMo-V2, LongCat, Gemma4, Mistral e altri. Non fornisce solo una classifica, ma anche un database di difetti dei modelli con oltre 2 milioni di voci, facilitando la ricerca, l'analisi e il miglioramento dei grandi modelli per la comunità.
Agent OS: l’agente diventa più intelligente da solo. Noi ci limitiamo a mantenere la linea: selezione tramite colloquio, valutazione per fasi e ciclo di evoluzione con budget definito. Server MCP, 14 ambienti di runtime: Claude Code, Codex CLI, Gemini CLI, OpenCode, Copilot, Kiro e altri.
🧊 Piattaforma open source per l'osservabilità di LLM. Una riga di codice per monitorare, valutare e sperimentare. YC W23 🍓
La guida pratica ai LLM: Dalle basi all'implementazione di app LLM e RAG avanzate su AWS utilizzando le best practice di LLMOps
Paper2Code: Automazione della generazione di codice da articoli scientifici nell'apprendimento automatico
Toolkit di valutazione multimodale One-for-All per attività testuali, di immagini, video e audio
Una raccolta di metodi scientifici, processi, algoritmi e sistemi per costruire storie e modelli.
Laminar - piattaforma di osservabilità open source realizzata appositamente per gli agenti IA. YC S24.
Un elenco curato di oltre 100 librerie e framework per ingegneri AI che costruiscono con LLM
Inspect: Un framework per la valutazione di modelli linguistici di grandi dimensioni
Benchmarking delle capacità di ragionamento complesso dei modelli linguistici di grandi dimensioni con il prompt chain-of-thought
Risorse complete sull'IA generativa, tra cui una roadmap dettagliata, progetti, casi d'uso, preparazione ai colloqui e preparazione alla codifica.
Esecuzione di recuperi semplici da modelli LLM con varie lunghezze di contesto per misurare l'accuratezza
Piattaforma open-source end-to-end per valutare, osservare e migliorare applicazioni LLM e agenti AI. Tracing · Evals · Simulations · Datasets · Gateway · Guardrails. Auto-ospitabile. Apache 2.0.
Progetti e Risorse per aiutarti a diventare un migliore sviluppatore AI.
Crea, arricchisci e trasforma set di dati utilizzando modelli AI senza codice
Uno strumento potente per il fuzzing automatizzato di LLM. È progettato per aiutare sviluppatori e ricercatori di sicurezza a identificare e mitigare potenziali jailbreak nelle API LLM.
Un agente di audit di allineamento in grado di esplorare rapidamente ipotesi di allineamento
Prompty semplifica la creazione, la gestione, il debug e la valutazione dei prompt LLM per le tue applicazioni AI. Prompty è una classe di asset e un formato per i prompt LLM progettato per migliorare l'osservabilità, la comprensibilità e la portabilità per gli sviluppatori.
Domande frequenti
Qual è il repository #llm-evaluation più popolare su GitHub?
Il progetto open source #llm-evaluation più alto in classifica su GitHub è ifixai-ai/iFixAi, con 46,592 stelle. Audit indipendente degli agenti IA. Eseguito da umani o dall'agente stesso, per rispondere alla domanda più cruciale nell'economia degli agenti IA: l'agente sta facendo ciò che dovrebbe fare? Con iFixAi puoi avere questa risposta in meno di 120 secondi.
Quali linguaggi di programmazione sono più utilizzati nei repository #llm-evaluation?
Tra i progetti #llm-evaluation più alti in classifica su GitHub, i linguaggi di programmazione più comuni sono Python, Jupyter Notebook, TypeScript, Java.
Come viene calcolata la classifica dei repository #llm-evaluation?
Monitoriamo 108 repository open source attivi contrassegnati con #llm-evaluation (500+ stelle), per un totale di 444,825 stelle e una media di 4,118 stelle per repository. Le classifiche vengono aggiornate quotidianamente tramite l’API di GitHub.