#model-serving Repository
Scopri 51 repository GitHub open source attivi contrassegnati con #model-serving, che raccolgono un totale di 211,758 stelle (con una media di 4,152 stelle per progetto). Il progetto leader di questo argomento è vllm-project/vllm, con 97,302 stelle.
51 repository in totale
Un motore di inferenza e serving per LLM ad alta produttività ed efficiente in termini di memoria
Il modo più semplice per servire app e modelli AI - Costruisci API di inferenza del modello, code di lavoro, app LLM, pipeline multi-modello e altro!
Un framework per l'inferenza efficiente del modello con modelli omni-modalità
Orchestrazione distribuita e type-safe di agenti, pipeline ML e inferenza in tempo reale sul tuo k8s — in puro Python con async/await e anche in altri linguaggi (Rust, Go e TypeScript)
Piattaforma di inferenza AI generativa e predittiva distribuita standardizzata per deployment scalabile e multi-framework su Kubernetes
In questo repository, condividerò alcune note e riferimenti utili sul deployment di modelli basati su deep learning in produzione.
LightLLM è un framework basato su Python per l'inferenza e il serving di LLM (Large Language Model), noto per il suo design leggero, la facile scalabilità e le prestazioni ad alta velocità.
🚀 Sistema Fantastico per Machine Learning ⚡️ Carte su Sistemi AI e Pratiche Industriali. ⚡️ Sistema per Machine Learning, LLM (Large Language Model), GenAI (Generative AI). 🍻 OSDI, NSDI, SIGCOMM, SoCC, MLSys, ecc. 🗃️ Llama3, Mistral, ecc. 🧑💻 Tutorial Video.
FEDML – La libreria ML unificata e scalabile per l'addestramento distribuito su larga scala, il model serving e l'apprendimento federato. FEDML Launch, uno scheduler cross-cloud, consente inoltre di eseguire qualsiasi lavoro di intelligenza artificiale su qualsiasi cloud GPU o cluster on-premise. Basata su questa libreria, TensorOpera AI (https://TensorOpera.ai) è la tua piattaforma di intelligenza artificiale generativa su larga scala.
OpenLake è un motore di archiviazione ad alte prestazioni per un'inferenza LLM e un addestramento GPU efficienti
Framework di inferenza ad alte prestazioni per modelli linguistici di grandi dimensioni, incentrato su efficienza, flessibilità e disponibilità.
Elenco di articoli sui sistemi di modelli linguistici di grandi dimensioni (LLM)
Runtime ad alte prestazioni per l’erogazione di sistemi di superintelligenza interattivi
MLRun è una piattaforma open source MLOps per la rapida costruzione e gestione di applicazioni ML continue durante tutto il loro ciclo di vita. MLRun si integra nel tuo ambiente di sviluppo e CI/CD e automatizza la consegna di dati di produzione, pipeline ML e applicazioni online.
Server API compatibile con Jev per modelli decisionali aperti. Ollama per modelli decisionali: scarica ed esegui localmente 29 famiglie di modelli (Laya, pplx-decider, Clef, Winnow, coba...) oppure ospitali autonomamente dietro /v1/systemone. L'SDK TypeSafe funziona senza modifiche: imposta l'URL di base e scegli un modello aperto. CLI, app desktop, Docker, server MCP e benchmark pubblico.
Uno strumento DevOps open source del CNCF per il packaging e il versioning di modelli AI/ML, dataset, codice e configurazioni in un artefatto OCI.
RTP-LLM: Il motore di inferenza LLM ad alte prestazioni di Alibaba per diverse applicazioni.
Tutti i link, i libri e i creatori di cui hai bisogno per rimanere aggiornato sull'IA!
Un server di inferenza scalabile per modelli ottimizzati con OpenVINO™
Un motore di accelerazione per l'inferenza LLM altamente ottimizzato per Llama e le sue varianti.
Un framework di serving per modelli ML ad alte prestazioni, offre batching dinamico e pipeline CPU/GPU per sfruttare appieno la tua macchina di calcolo
Codice per il corso online "Distribuzione di Modelli di Machine Learning"
Il ponte mancante tra i tuoi modelli di machine learning e i tuoi agenti di IA.
Motore di inferenza LLM puro Rust + CUDA — nessun PyTorch, compatibile con OpenAI, serve da Qwen3 a Kimi-K2
Ollama per modelli ML classici. Compilatore AOT che converte modelli XGBoost, LightGBM, scikit-learn, CatBoost e ONNX in codice di inferenza nativo C99. Un comando per caricare, un comando per servire. 336x più veloce dell'inferenza Python.
App scheletro FastAPI per servire modelli di machine learning pronti per la produzione.
Migliori pratiche per la distillazione di grandi modelli linguistici.
Domande frequenti
Qual è il repository #model-serving più popolare su GitHub?
Il progetto open source #model-serving più alto in classifica su GitHub è vllm-project/vllm, con 97,302 stelle. Un motore di inferenza e serving per LLM ad alta produttività ed efficiente in termini di memoria
Quali linguaggi di programmazione sono più utilizzati nei repository #model-serving?
Tra i progetti #model-serving più alti in classifica su GitHub, i linguaggi di programmazione più comuni sono Python, Go, Rust, Jupyter Notebook.
Come viene calcolata la classifica dei repository #model-serving?
Monitoriamo 51 repository open source attivi contrassegnati con #model-serving (500+ stelle), per un totale di 211,758 stelle e una media di 4,152 stelle per repository. Le classifiche vengono aggiornate quotidianamente tramite l’API di GitHub.