Git Stars Git Stars

#model-serving Repository

Scopri 51 repository GitHub open source attivi contrassegnati con #model-serving, che raccolgono un totale di 211,758 stelle (con una media di 4,152 stelle per progetto). Il progetto leader di questo argomento è vllm-project/vllm, con 97,302 stelle.

51
Totale Repository
211,758
Totale stelle
4,152
Media Stelle/Repo

51 repository in totale

1
vllm-project/vllm

Un motore di inferenza e serving per LLM ad alta produttività ed efficiente in termini di memoria

vllm-project
⭐ 97,302 Python 👤 vllm-project Organization 🕐 Aggiornato 2026-11-21 📅 Creato 2023-02-09
2
bentoml/BentoML

Il modo più semplice per servire app e modelli AI - Costruisci API di inferenza del modello, code di lavoro, app LLM, pipeline multi-modello e altro!

bentoml
⭐ 8,944 Python 👤 bentoml Organization 🕐 Aggiornato 2026-11-17 📅 Creato 2019-04-02
3
vllm-project/vllm-omni

Un framework per l'inferenza efficiente del modello con modelli omni-modalità

vllm-project
⭐ 7,884 Python 👤 vllm-project Organization 🕐 Aggiornato 2026-11-21 📅 Creato 2025-09-11
4
flyteorg/flyte

Orchestrazione distribuita e type-safe di agenti, pipeline ML e inferenza in tempo reale sul tuo k8s — in puro Python con async/await e anche in altri linguaggi (Rust, Go e TypeScript)

flyteorg
⭐ 7,801 Go 👤 flyteorg Organization 🕐 Aggiornato 2026-11-21 📅 Creato 2019-10-21
6
kserve/kserve

Piattaforma di inferenza AI generativa e predittiva distribuita standardizzata per deployment scalabile e multi-framework su Kubernetes

kserve
⭐ 6,253 Go 👤 kserve Organization 🕐 Aggiornato 2026-11-20 📅 Creato 2019-03-27
7
beclab/Olares

Sistema operativo cloud personale open source per agenti sempre attivi

beclab
⭐ 5,373 Go 👤 beclab Organization 🕐 Aggiornato 2026-11-21 📅 Creato 2024-04-29
8
ahkarami/Deep-Learning-in-Production

In questo repository, condividerò alcune note e riferimenti utili sul deployment di modelli basati su deep learning in produzione.

ahkarami
⭐ 4,380 👤 ahkarami User 🕐 Aggiornato 2024-11-09 📅 Creato 2018-05-03
9
ModelTC/LightLLM

LightLLM è un framework basato su Python per l'inferenza e il serving di LLM (Large Language Model), noto per il suo design leggero, la facile scalabilità e le prestazioni ad alta velocità.

ModelTC
⭐ 4,368 Python 👤 ModelTC Organization 🕐 Aggiornato 2026-11-21 📅 Creato 2023-07-22
10
HuaizhengZhang/AI-Infra-from-Zero-to-Hero

🚀 Sistema Fantastico per Machine Learning ⚡️ Carte su Sistemi AI e Pratiche Industriali. ⚡️ Sistema per Machine Learning, LLM (Large Language Model), GenAI (Generative AI). 🍻 OSDI, NSDI, SIGCOMM, SoCC, MLSys, ecc. 🗃️ Llama3, Mistral, ecc. 🧑‍💻 Tutorial Video.

HuaizhengZhang
⭐ 4,224 👤 HuaizhengZhang User 🕐 Aggiornato 2025-07-25 📅 Creato 2019-01-07
11
FedML-AI/FedML

FEDML – La libreria ML unificata e scalabile per l'addestramento distribuito su larga scala, il model serving e l'apprendimento federato. FEDML Launch, uno scheduler cross-cloud, consente inoltre di eseguire qualsiasi lavoro di intelligenza artificiale su qualsiasi cloud GPU o cluster on-premise. Basata su questa libreria, TensorOpera AI (https://TensorOpera.ai) è la tua piattaforma di intelligenza artificiale generativa su larga scala.

FedML-AI
⭐ 4,068 Python 👤 FedML-AI Organization 🕐 Aggiornato 2026-11-12 📅 Creato 2020-07-21
12
predibase/lorax

Server di inferenza Multi-LoRA che scala a migliaia di LLM ottimizzati

predibase
⭐ 3,836 Python 👤 predibase Organization 🕐 Aggiornato 2026-05-28 📅 Creato 2023-10-20
13
vllm-project/vllm-ascend

Plugin hardware per vLLM su Huawei Ascend mantenuto dalla comunità

vllm-project
⭐ 3,128 Python 👤 vllm-project Organization 🕐 Aggiornato 2026-11-21 📅 Creato 2025-01-29
14
openlake-project/openlake

OpenLake è un motore di archiviazione ad alte prestazioni per un'inferenza LLM e un addestramento GPU efficienti

openlake-project
⭐ 3,089 Rust 👤 openlake-project Organization 🕐 Aggiornato 2026-11-19 📅 Creato 2026-04-27
15
thu-pacman/chitu

Framework di inferenza ad alte prestazioni per modelli linguistici di grandi dimensioni, incentrato su efficienza, flessibilità e disponibilità.

thu-pacman
⭐ 3,005 Python 👤 thu-pacman Organization 🕐 Aggiornato 2026-11-21 📅 Creato 2025-02-20
16
AmberLJC/LLMSys-PaperList

Elenco di articoli sui sistemi di modelli linguistici di grandi dimensioni (LLM)

AmberLJC
⭐ 2,332 Python 👤 AmberLJC User 🕐 Aggiornato 2026-10-20 📅 Creato 2023-06-06
17
tensorchord/envd

🏕️ Ambiente di sviluppo riproducibile per esseri umani e agenti

tensorchord
⭐ 2,249 Go 👤 tensorchord Organization 🕐 Aggiornato 2026-11-19 📅 Creato 2022-04-11
18
microsoft/aici

AICI: Prompts come (Wasm) Programmi

microsoft
⭐ 2,077 Rust 👤 microsoft Organization 🕐 Aggiornato 2025-01-22 📅 Creato 2023-09-26
19
tile-ai/TileRT

Runtime basato su tessere per inferenza LLM a bassissima latenza

tile-ai
⭐ 1,906 Python 👤 tile-ai Organization 🕐 Aggiornato 2026-09-24 📅 Creato 2025-11-12
20
sgl-project/sglang-omni

Runtime ad alte prestazioni per l’erogazione di sistemi di superintelligenza interattivi

sgl-project
⭐ 1,882 Python 👤 sgl-project Organization 🕐 Aggiornato 2026-11-21 📅 Creato 2026-01-07
21
janhq/awesome-local-ai

Un fantastico repository di strumenti AI locali

janhq
⭐ 1,791 👤 janhq Organization 🕐 Aggiornato 2024-11-13 📅 Creato 2023-09-06
22
mlrun/mlrun

MLRun è una piattaforma open source MLOps per la rapida costruzione e gestione di applicazioni ML continue durante tutto il loro ciclo di vita. MLRun si integra nel tuo ambiente di sviluppo e CI/CD e automatizza la consegna di dati di produzione, pipeline ML e applicazioni online.

mlrun
⭐ 1,703 Python 👤 mlrun Organization 🕐 Aggiornato 2026-11-20 📅 Creato 2019-09-01
23
ollaya-dev/ollaya

Server API compatibile con Jev per modelli decisionali aperti. Ollama per modelli decisionali: scarica ed esegui localmente 29 famiglie di modelli (Laya, pplx-decider, Clef, Winnow, coba...) oppure ospitali autonomamente dietro /v1/systemone. L'SDK TypeSafe funziona senza modifiche: imposta l'URL di base e scegli un modello aperto. CLI, app desktop, Docker, server MCP e benchmark pubblico.

ollaya-dev
⭐ 1,473 Rust 👤 ollaya-dev Organization 🕐 Aggiornato 2026-11-21 📅 Creato 2026-09-23
24
kitops-ml/kitops

Uno strumento DevOps open source del CNCF per il packaging e il versioning di modelli AI/ML, dataset, codice e configurazioni in un artefatto OCI.

kitops-ml
⭐ 1,451 Go 👤 kitops-ml Organization 🕐 Aggiornato 2026-11-20 📅 Creato 2024-02-02
25
alibaba/rtp-llm

RTP-LLM: Il motore di inferenza LLM ad alte prestazioni di Alibaba per diverse applicazioni.

alibaba
⭐ 1,402 Python 👤 alibaba Organization 🕐 Aggiornato 2026-11-21 📅 Creato 2023-12-27
26
hemingkx/SpeculativeDecodingPapers

📰 Articoli e blog imperdibili su Speculative Decoding ⚡️

hemingkx
⭐ 1,309 👤 hemingkx User 🕐 Aggiornato 2026-06-27 📅 Creato 2023-09-20
27
logicalclocks/hopsworks

Hopsworks - Piattaforma AI data-intensive con Feature Store

logicalclocks
⭐ 1,299 Java 👤 logicalclocks Organization 🕐 Aggiornato 2025-02-10 📅 Creato 2018-07-26
28
DataExpert-io/ai-engineer-handbook

Tutti i link, i libri e i creatori di cui hai bisogno per rimanere aggiornato sull'IA!

DataExpert-io
⭐ 1,261 👤 DataExpert-io Organization 🕐 Aggiornato 2026-11-20 📅 Creato 2026-02-16
29
basetenlabs/truss

Il modo più semplice per servire modelli AI/ML in produzione

basetenlabs
⭐ 1,236 Python 👤 basetenlabs Organization 🕐 Aggiornato 2026-11-20 📅 Creato 2022-07-06
30
gpu-mode/awesomeMLSys

Un elenco di onboarding per sistemi ML

gpu-mode
⭐ 1,154 👤 gpu-mode Organization 🕐 Aggiornato 2026-02-19 📅 Creato 2024-05-06
31
efeslab/Nanoflow

Un framework di serving ad alte prestazioni orientato al throughput per LLM

efeslab
⭐ 978 Jupyter Notebook 👤 efeslab Organization 🕐 Aggiornato 2026-03-29 📅 Creato 2024-08-19
32
openvinotoolkit/model_server

Un server di inferenza scalabile per modelli ottimizzati con OpenVINO™

openvinotoolkit
⭐ 961 C++ 👤 openvinotoolkit Organization 🕐 Aggiornato 2026-11-21 📅 Creato 2018-09-26
33
triton-inference-server/tensorrtllm_backend

Il backend Triton TensorRT-LLM

triton-inference-server
⭐ 944 👤 triton-inference-server Organization 🕐 Aggiornato 2026-11-02 📅 Creato 2023-09-12
34
replicate/replicate-python

Client Python per Replicate

replicate
⭐ 909 Python 👤 replicate Organization 🕐 Aggiornato 2025-08-26 📅 Creato 2022-05-11
35
zhihu/ZhiLight

Un motore di accelerazione per l'inferenza LLM altamente ottimizzato per Llama e le sue varianti.

zhihu
⭐ 906 C++ 👤 zhihu Organization 🕐 Aggiornato 2026-03-18 📅 Creato 2024-12-06
36
mosecorg/mosec

Un framework di serving per modelli ML ad alte prestazioni, offre batching dinamico e pipeline CPU/GPU per sfruttare appieno la tua macchina di calcolo

mosecorg
⭐ 905 Python 👤 mosecorg Organization 🕐 Aggiornato 2026-11-02 📅 Creato 2021-03-13
37
trainindata/deploying-machine-learning-models

Codice per il corso online "Distribuzione di Modelli di Machine Learning"

trainindata
⭐ 879 Jupyter Notebook 👤 trainindata Organization 🕐 Aggiornato 2024-08-20 📅 Creato 2019-01-09
38
InternLM/Intern-S1

Un modello fondazionale scientifico multimodale

InternLM
⭐ 876 👤 InternLM Organization 🕐 Aggiornato 2026-09-13 📅 Creato 2025-07-25
39
bentoml/Yatai

Distribuzione di modelli su larga scala su Kubernetes 🦄️

bentoml
⭐ 843 TypeScript 👤 bentoml Organization 🕐 Aggiornato 2026-05-30 📅 Creato 2021-07-30
40
Tejas-TA/predikit

Il ponte mancante tra i tuoi modelli di machine learning e i tuoi agenti di IA.

Tejas-TA
⭐ 840 Python 👤 Tejas-TA User 🕐 Aggiornato 2026-10-28 📅 Creato 2026-05-25
41
pegainfer-project/pegainfer

Motore di inferenza LLM puro Rust + CUDA — nessun PyTorch, compatibile con OpenAI, serve da Qwen3 a Kimi-K2

pegainfer-project
⭐ 748 Rust 👤 pegainfer-project Organization 🕐 Aggiornato 2026-11-21 📅 Creato 2026-02-17
42
abhishekkrthakur
⭐ 728 Python 👤 abhishekkrthakur User 🕐 Aggiornato 2024-09-14 📅 Creato 2021-10-26
43
ServerlessLLM/ServerlessLLM

Servizio LLM Serverless per tutti.

ServerlessLLM
⭐ 720 Python 👤 ServerlessLLM Organization 🕐 Aggiornato 2026-09-04 📅 Creato 2024-01-23
44
kossisoroyce/timber

Ollama per modelli ML classici. Compilatore AOT che converte modelli XGBoost, LightGBM, scikit-learn, CatBoost e ONNX in codice di inferenza nativo C99. Un comando per caricare, un comando per servire. 336x più veloce dell'inferenza Python.

kossisoroyce
⭐ 692 Python 👤 kossisoroyce User 🕐 Aggiornato 2026-04-16 📅 Creato 2026-02-27
46
mlfoundations/evalchemy

Valutazioni automatiche per LLM

mlfoundations
⭐ 617 HTML 👤 mlfoundations Organization 🕐 Aggiornato 2026-11-12 📅 Creato 2024-11-15
47
eightBEC/fastapi-ml-skeleton

App scheletro FastAPI per servire modelli di machine learning pronti per la produzione.

eightBEC
⭐ 601 Python 👤 eightBEC User 🕐 Aggiornato 2026-01-08 📅 Creato 2020-02-15
48
predibase/llm_distillation_playbook

Migliori pratiche per la distillazione di grandi modelli linguistici.

predibase
⭐ 596 Jupyter Notebook 👤 predibase Organization 🕐 Aggiornato 2024-02-01 📅 Creato 2023-12-06
49
fufankeji/DeepSeek-OCR-Web

Web Studio per l'analisi di documenti OCR DeepSeek pronto all'uso

fufankeji
⭐ 568 TypeScript 👤 fufankeji User 🕐 Aggiornato 2025-10-27 📅 Creato 2025-10-23

Domande frequenti

1

Qual è il repository #model-serving più popolare su GitHub?

Il progetto open source #model-serving più alto in classifica su GitHub è vllm-project/vllm, con 97,302 stelle. Un motore di inferenza e serving per LLM ad alta produttività ed efficiente in termini di memoria

2

Quali linguaggi di programmazione sono più utilizzati nei repository #model-serving?

Tra i progetti #model-serving più alti in classifica su GitHub, i linguaggi di programmazione più comuni sono Python, Go, Rust, Jupyter Notebook.

3

Come viene calcolata la classifica dei repository #model-serving?

Monitoriamo 51 repository open source attivi contrassegnati con #model-serving (500+ stelle), per un totale di 211,758 stelle e una media di 4,152 stelle per repository. Le classifiche vengono aggiornate quotidianamente tramite l’API di GitHub.