#evals Repository
Scopri 25 repository GitHub open source attivi contrassegnati con #evals, che raccolgono un totale di 108,810 stelle (con una media di 4,352 stelle per progetto). Il progetto leader di questo argomento è mastra-ai/mastra, con 29,719 stelle.
25 repository in totale
Mastra è il moderno framework TypeScript per applicazioni e agenti basati sull'intelligenza artificiale.
Osservabilità e applicazione delle policy per gli harness degli agenti IA. Acquisisci ogni esecuzione e garantisci l’affidabilità in fase di runtime tramite l’applicazione delle policy.
SDK Python per il monitoraggio degli agenti AI, il tracciamento dei costi LLM, il benchmarking e altro ancora. Si integra con la maggior parte degli LLM e framework di agenti, tra cui CrewAI, Agno, OpenAI Agents SDK, Langchain, Autogen, AG2 e CamelAI
Costruire, Valutare e Ottimizzare i Sistemi di IA. Include valutazioni (evals), RAG, agenti, messa a punto (fine-tuning), generazione di dati sintetici, gestione dei set di dati, MCP e altro ancora.
Guida alla progettazione di sistemi di IA per ingegneri che sviluppano sistemi di IA in produzione e valutazioni.
Laminar - piattaforma di osservabilità open source realizzata appositamente per gli agenti IA. YC S24.
Crea competenze di agenti testate e gestisci il loro ciclo di vita attraverso un marketplace definito dall'utente: evidenze, scoperta, aggiornamenti, ripristino, quarantena e distribuzione su 17 piattaforme.
Piattaforma di test e valutazione per chattare, ispezionare e eseguire il debug di server MCP, app MCP e app ChatGPT.
Piattaforma open-source end-to-end per valutare, osservare e migliorare applicazioni LLM e agenti AI. Tracing · Evals · Simulations · Datasets · Gateway · Guardrails. Auto-ospitabile. Apache 2.0.
Waku Agent è un framework open source per agenti IA che possiedi e controlli: ciclo, memoria, valutazioni e un livello sempre attivo (posta in arrivo degli eventi, timer, approvazioni e posta in uscita), con codice che rimane leggibile.
Costruisci sistemi basati su agenti. Eseguili con sicurezza. Orchestra gli agenti, automatizza i processi aziendali, ispeziona ogni esecuzione e mantieni il controllo umano. Distribuisci Heym sulla tua infrastruttura.
Servizio clienti open source pronto per la produzione con Evals e monitoraggio integrati
Il manuale di competenze per il miglioramento ricorsivo di sé (RSI). L’ultima dimostrazione di NVIDIA, analizzata con principi ingegneristici senza tempo. Sintetizzato dal metodo senza intervento del vincitore dell’hackathon di OpenAI sull’harness engineering.
🥤 RAGLite è un toolkit Python per Retrieval-Augmented Generation (RAG) con DuckDB o PostgreSQL
CI/CD nativo delle tracce per agenti di IA: gli errori in produzione diventano test di regressione che bloccano la PR. Rilevamento e raggruppamento automatici, congelamento in casi ermetici e riproduzione in CI a costo zero.
Una libreria curata e senza fronzoli delle migliori risorse per costruire e valutare agenti AI — articoli, blog, talk, strumenti, benchmark. Mantenuta da BenchFlow.
Un creatore di skill che dimostra l'efficacia delle proprie skill. Creazione di skill basata su prove per Claude Code e Codex: generazione testata su baseline, valutazioni di regressione per singola skill, diagnostica dell'ecosistema, compilazione cross-runtime e un consulente proattivo opzionale.
Notebook Colab pratici e senza framework per il set di competenze dell'AI Engineer / Forward Deployed Engineer (FDE): API dei modelli, output strutturato, chiamata di strumenti, RAG, valutazioni come pilastro portante, agenti (ciclo da zero, progettazione di strumenti, guardrail, MCP, competenze), fine-tuning vs LoRA, prompt injection/sicurezza, LLMOps e gestione del cliente. Funziona sull'API gratuita di Groq.
Il livello di auto-miglioramento per gli agenti IA. Ratel analizza le tracce del tuo agente, individua i problemi, consiglia correzioni ed esegue valutazioni su sessioni reali prima del rilascio. Self-hosted: un’app, un Postgres. Include gli SDK per TypeScript e Python.
Domande frequenti
Qual è il repository #evals più popolare su GitHub?
Il progetto open source #evals più alto in classifica su GitHub è mastra-ai/mastra, con 29,719 stelle. Mastra è il moderno framework TypeScript per applicazioni e agenti basati sull'intelligenza artificiale.
Quali linguaggi di programmazione sono più utilizzati nei repository #evals?
Tra i progetti #evals più alti in classifica su GitHub, i linguaggi di programmazione più comuni sono Python, TypeScript, JavaScript, Jupyter Notebook.
Come viene calcolata la classifica dei repository #evals?
Monitoriamo 25 repository open source attivi contrassegnati con #evals (500+ stelle), per un totale di 108,810 stelle e una media di 4,352 stelle per repository. Le classifiche vengono aggiornate quotidianamente tramite l’API di GitHub.