#llmops Repository
Scopri 111 repository GitHub open source attivi contrassegnati con #llmops, che raccolgono un totale di 716,901 stelle (con una media di 6,458 stelle per progetto). Il progetto leader di questo argomento è BerriAI/litellm, con 63,649 stelle.
111 repository in totale
Il gateway AI più veloce e leggero. Nucleo Rust con SDK Python. Chiama oltre 100 API LLM in formato OpenAI (o nativo) con monitoraggio dei costi, protezioni, bilanciamento del carico e registrazione [Bedrock, Azure, OpenAI, Anthropic, OpenAI, VertexAI, vLLM, Nvidia NIM]
Impara a sviluppare, distribuire e iterare applicazioni ML di livello produttivo.
🪢 Piattaforma open source per l’ingegneria dell’IA: AI Gateway, osservabilità degli agenti, valutazioni e gestione di prompt e competenze, basata su OpenTelemetry. Un’unica piattaforma aperta per ogni chiamata IA e ogni agente. Puoi ospitarla autonomamente o usare Langfuse Cloud.
Composio alimenta più di 1000 kit di strumenti, ricerca di strumenti, gestione del contesto, autenticazione e una postazione di lavoro sandbox per aiutarti a creare agenti IA che trasformano l'intenzione in azione.
La piattaforma di ingegneria IA open source per agenti, LLM e modelli ML. MLflow consente a team di tutte le dimensioni di debuggare, valutare, monitorare e ottimizzare applicazioni IA di qualità produttiva controllando i costi e gestendo l'accesso a modelli e dati.
Testa i tuoi prompt, agenti e RAG. Red teaming/pentesting/scansione delle vulnerabilità per l'IA. Confronta le prestazioni di GPT, Claude, Gemini, DeepSeek e altri. Configurazioni dichiarative semplici con integrazione da riga di comando e CI/CD. Utilizzato da OpenAI e Anthropic.
Questo progetto mira a condividere i principi tecnici e le esperienze pratiche relative ai modelli di grandi dimensioni (ingegnerizzazione di grandi modelli, applicazione pratica di grandi modelli).
Esegui il debug, valuta e monitora le tue applicazioni LLM, i sistemi RAG e i flussi di lavoro agentic con tracing completo, valutazioni automatizzate e dashboard pronti per la produzione.
🚀 Una raccolta selezionata di risorse, roadmap, strumenti e progetti di ingegneria dell’IA che comprende LLM, RAG, agenti IA, MCP, fine-tuning, valutazioni e sistemi di IA in produzione.
RocketRide è un meta-harness di IA open source con l’unico runtime di livello enterprise basato su C++. Crea, testa e pubblica agenti duraturi in grado di scalare in produzione.
<⚡️> SuperAGI - Un framework open source per agenti AI autonomi, orientato agli sviluppatori. Consente agli sviluppatori di creare, gestire ed eseguire agenti autonomi utili in modo rapido e affidabile.
SDK Python per il Framework di Osservabilità, Monitoraggio e Valutazione dell'AI per Agenti. Include funzionalità come il tracciamento di agenti, LLM e strumenti, il debug di sistemi multi-agente, dashboard self-hosted e analisi avanzate con visualizzazione della timeline e del grafico di esecuzione.
Un gateway AI velocissimo con guardrail integrati. Routing verso oltre 1.600 LLM, oltre 50 guardrail AI con 1 API veloce e friendly.
Esegui qualsiasi LLM open-source, come DeepSeek e Llama, come endpoint API compatibile con OpenAI nel cloud.
BISHENG è una piattaforma open source di agenti per le aziende, pensata per creare, distribuire e gestire applicazioni di IA. Riunisce agenti IA, flussi di lavoro, RAG e gestione della conoscenza, integrazione di agenti desktop e hosting di app vibecoding, con gestione unificata dei modelli, valutazione, osservabilità, controllo degli accessi e amministrazione aziendale.
TensorZero è una piattaforma open-source LLMOps che unifica un gateway LLM, osservabilità, valutazione, ottimizzazione e sperimentazione.
Affina i LLM da un singolo YAML. Lo streaming a livelli addestra un modello da 8B su una GPU per laptop da 4 GB.
Il modo più semplice per servire app e modelli AI - Costruisci API di inferenza del modello, code di lavoro, app LLM, pipeline multi-modello e altro!
Evidently è un framework open-source per l'osservabilità di ML e LLM. Valuta, testa e monitora qualsiasi sistema basato sull'IA o pipeline dati. Dai dati tabellari a Gen AI. Oltre 100 metriche.
Osservabilità open-source per la tua applicazione GenAI o LLM, basata su OpenTelemetry
Plano è un server proxy nativo AI e un piano dati per applicazioni agentiche. Routing intelligente LLM, osservabilità, orchestrazione degli agenti e protezioni per permetterti di concentrarti sulla logica principale dei tuoi agenti.
ClearML - CI/CD Auto-Magico per ottimizzare il tuo carico di lavoro AI. Gestione Esperimenti, Gestione Dati, Pipeline, Orchestrazione, Programmazione e Servizio in una soluzione MLOps/LLMOps
Distribuisci Agenti IA su Google Cloud in minuti, non in mesi. Modelli pronti per la produzione con CI/CD, valutazione e osservabilità integrati.
🧊 Piattaforma open source per l'osservabilità di LLM. Una riga di codice per monitorare, valutare e sperimentare. YC W23 🍓
Un elenco fantastico e curato dei migliori strumenti LLMOps per sviluppatori
Piattaforma di ottimizzazione per agenti AI di nuova generazione: Cozeloop affronta le sfide nello sviluppo di agenti AI fornendo capacità di gestione dell'intero ciclo di vita, dallo sviluppo, al debug, alla valutazione fino al monitoraggio.
La guida pratica ai LLM: Dalle basi all'implementazione di app LLM e RAG avanzate su AWS utilizzando le best practice di LLMOps
Superduper: Framework end-to-end per la creazione di applicazioni e agenti AI personalizzati.
Questo strumento è stato deprecato. Usa invece Agentic Document Extraction.
cube studio Piattaforma AI Open-Source Cloud-Native One-Stop per Machine Learning/Deep Learning/Grandi Modelli, MLOps Flusso completo del link algoritmico, Piattaforma di noleggio di capacità computazionale, Sviluppo online Notebook, Orchestrazione di pipeline di flusso di task drag-and-drop, Addestramento distribuito multi-macchina multi-GPU, Ricerca di iperparametri, Virtualizzazione VGPU del servizio di inferenza, Edge Computing, Annotazione automatizzata della piattaforma di annotazione, Fine-tuning SFT di grandi modelli/Modello di ricompensa/Addestramento di apprendimento per rinforzo di Deepseek, Inferenza multi-macchina di grandi modelli come vLLM/Ollama/MindSpore, Knowledge Base privata, Mercato di modelli AI, Supporto per CPU/GPU/NPU domestici ecosistema Ascend, Supporto per RDMA, Supporto per framework distribuiti come PyTorch/TF/MXNet/DeepSpeed/Paddle/ColossalAI/Horovod/Ray/Volcano
Osservabilità e valutazione open source degli agenti per i team di piattaforma AI. Traccia, testa, indirizza e governa ogni agente e assistente di programmazione dell’azienda.
🤖 𝗟𝗲𝗮𝗿𝗻 gratuitamente come costruire un sistema 𝗟𝗟𝗠 & 𝗥𝗔𝗚 end-to-end pronto per la produzione utilizzando le best practice di 𝗟𝗟𝗠𝗢𝗽𝘀: ~ 𝘴𝘰𝘶𝘳𝘤𝘦 𝘤𝘰𝘥𝘦 + 12 𝘭𝘦𝘻𝘪𝘰𝘯𝘪 pratiche
Framework RAG (Retrieval Augmented Generation) per la creazione di applicazioni open source modulari per la produzione di TrueFoundry
Laminar - piattaforma di osservabilità open source realizzata appositamente per gli agenti IA. YC S24.
🕹️ Piattaforma LLMOps open-source, incentrata sugli sviluppatori, progettata per semplificare la progettazione dei prompt, la gestione delle versioni, la distribuzione istantanea, la collaborazione, la risoluzione dei problemi, l'osservabilità e altro ancora.
AGiXT è una piattaforma dinamica di automazione di agenti AI che orchestra senza soluzione di continuità la gestione delle istruzioni e l'esecuzione di compiti complessi su diversi provider AI. Combinando memoria adattiva, funzionalità intelligenti e un versatile sistema di plugin, AGiXT offre soluzioni AI efficienti e complete.
Impara a costruire il tuo assistente AI Second Brain con LLM, agenti, RAG, fine-tuning, LLMOps e tecniche per sistemi AI.
Lo stesso agente, una spesa più bassa. Gli strumenti e l’infrastruttura per far fare di più alla tua IA. Meno token. Meno calcolo. Costi più bassi.
Domande frequenti
Qual è il repository #llmops più popolare su GitHub?
Il progetto open source #llmops più alto in classifica su GitHub è BerriAI/litellm, con 63,649 stelle. Il gateway AI più veloce e leggero. Nucleo Rust con SDK Python. Chiama oltre 100 API LLM in formato OpenAI (o nativo) con monitoraggio dei costi, protezioni, bilanciamento del carico e registrazione [Bedrock, Azure, OpenAI, Anthropic, OpenAI, VertexAI, vLLM, Nvidia NIM]
Quali linguaggi di programmazione sono più utilizzati nei repository #llmops?
Tra i progetti #llmops più alti in classifica su GitHub, i linguaggi di programmazione più comuni sono Python, TypeScript, Jupyter Notebook, Rust.
Come viene calcolata la classifica dei repository #llmops?
Monitoriamo 111 repository open source attivi contrassegnati con #llmops (500+ stelle), per un totale di 716,901 stelle e una media di 6,458 stelle per repository. Le classifiche vengono aggiornate quotidianamente tramite l’API di GitHub.