Git Stars Git Stars

#llm-serving Repository

Scopri 44 repository GitHub open source attivi contrassegnati con #llm-serving, che raccolgono un totale di 381,346 stelle (con una media di 8,666 stelle per progetto). Il progetto leader di questo argomento è vllm-project/vllm, con 97,302 stelle.

44
Totale Repository
381,346
Totale stelle
8,666
Media Stelle/Repo

44 repository in totale

1
vllm-project/vllm

Un motore di inferenza e serving per LLM ad alta produttività ed efficiente in termini di memoria

vllm-project
⭐ 97,302 Python 👤 vllm-project Organization 🕐 Aggiornato 2026-11-21 📅 Creato 2023-02-09
2
exo-explore/exo

Esegui Frontier AI localmente.

exo-explore
⭐ 48,516 Python 👤 exo-explore Organization 🕐 Aggiornato 2026-11-06 📅 Creato 2024-06-24
3
ray-project/ray

Ray è un motore di calcolo AI. Ray consiste in un runtime distribuito principale e un set di librerie AI per accelerare i carichi di lavoro ML.

ray-project
⭐ 44,352 Python 👤 ray-project Organization 🕐 Aggiornato 2026-11-21 📅 Creato 2016-10-25
4
lm-sys/FastChat

Una piattaforma aperta per l'addestramento, il serving e la valutazione di modelli linguistici di grandi dimensioni. Repository di rilascio per Vicuna e Chatbot Arena.

lm-sys
⭐ 39,550 Python 👤 lm-sys Organization 🕐 Aggiornato 2026-05-01 📅 Creato 2023-03-19
5
liguodongiot/llm-action

Questo progetto mira a condividere i principi tecnici e le esperienze pratiche relative ai modelli di grandi dimensioni (ingegnerizzazione di grandi modelli, applicazione pratica di grandi modelli).

liguodongiot
⭐ 25,297 HTML 👤 liguodongiot User 🕐 Aggiornato 2026-10-14 📅 Creato 2023-05-23
6
NVIDIA/TensorRT-LLM

TensorRT LLM fornisce agli utenti un'API Python di facile utilizzo per definire Large Language Models (LLM) e supporta ottimizzazioni all'avanguardia per eseguire inferenze in modo efficiente sulle GPU NVIDIA. TensorRT LLM contiene anche componenti per creare runtime Python e C++ che orchestrano l'esecuzione dell'inferenza in modo performante.

NVIDIA
⭐ 15,112 Python 👤 NVIDIA Organization 🕐 Aggiornato 2026-11-21 📅 Creato 2023-08-16
7
bentoml/OpenLLM

Esegui qualsiasi LLM open-source, come DeepSeek e Llama, come endpoint API compatibile con OpenAI nel cloud.

bentoml
⭐ 12,610 Python 👤 bentoml Organization 🕐 Aggiornato 2026-11-16 📅 Creato 2023-04-19
8
skypilot-org/skypilot

La piattaforma di calcolo AI per team all'avanguardia. SkyPilot trasforma il calcolo AI frammentato in un supercomputer AI, consentendo ai team all'avanguardia di costruire intelligenza personalizzata più velocemente.

skypilot-org
⭐ 10,869 Python 👤 skypilot-org Organization 🕐 Aggiornato 2026-11-21 📅 Creato 2021-08-11
9
bentoml/BentoML

Il modo più semplice per servire app e modelli AI - Costruisci API di inferenza del modello, code di lavoro, app LLM, pipeline multi-modello e altro!

bentoml
⭐ 8,944 Python 👤 bentoml Organization 🕐 Aggiornato 2026-11-17 📅 Creato 2019-04-02
10
bojieli/ai-infra-book

《Comprendere a fondo l’infrastruttura dell’IA: analisi quantitativa e progettazione dei sistemi》 (di Li Bojie), un manoscritto di libro open source: partendo dai vincoli hardware e dalle architetture dei modelli, deriva quantitativamente la progettazione dei sistemi di inferenza e addestramento degli LLM. Include il testo completo, il PDF, strumenti di calcolo correlati ed esperimenti.

bojieli
⭐ 8,179 Python 👤 bojieli User 🕐 Aggiornato 2026-10-01 📅 Creato 2026-08-22
11
z-lab/dflash

DFlash: Diffusione di blocchi per la decodifica speculativa Flash

z-lab
⭐ 6,254 Python 👤 z-lab Organization 🕐 Aggiornato 2026-08-18 📅 Creato 2026-01-04
12
gpustack/gpustack

Un gestore di cluster GPU per il serving di modelli AI ad alte prestazioni (vLLM, SGLang) e istanze GPU on-demand accessibili via SSH.

gpustack
⭐ 6,097 Python 👤 gpustack Organization 🕐 Aggiornato 2026-11-20 📅 Creato 2024-05-11
13
sgl-project/mini-sglang

Un'implementazione compatta di SGLang, progettata per demistificare le complessità dei moderni sistemi di serving LLM.

sgl-project
⭐ 5,623 Python 👤 sgl-project Organization 🕐 Aggiornato 2026-05-17 📅 Creato 2025-09-01
14
superduper-io/superduper

Superduper: Framework end-to-end per la creazione di applicazioni e agenti AI personalizzati.

superduper-io
⭐ 5,317 Python 👤 superduper-io Organization 🕐 Aggiornato 2025-09-01 📅 Creato 2022-08-30
15
SylphAI-Inc/LLM-engineer-handbook

Un elenco curato di risorse per modelli linguistici di grandi dimensioni, che coprono l'addestramento, il serving, il fine-tuning dei modelli e la creazione di applicazioni LLM.

SylphAI-Inc
⭐ 5,014 👤 SylphAI-Inc Organization 🕐 Aggiornato 2025-08-18 📅 Creato 2024-11-04
16
predibase/lorax

Server di inferenza Multi-LoRA che scala a migliaia di LLM ottimizzati

predibase
⭐ 3,836 Python 👤 predibase Organization 🕐 Aggiornato 2026-05-28 📅 Creato 2023-10-20
17
PaddlePaddle/FastDeploy

Toolkit ad alte prestazioni per inferenza e deployment di LLM e VLM basato su PaddlePaddle

PaddlePaddle
⭐ 3,722 Python 👤 PaddlePaddle Organization 🕐 Aggiornato 2026-09-24 📅 Creato 2022-06-27
18
vllm-project/vllm-ascend

Plugin hardware per vLLM su Huawei Ascend mantenuto dalla comunità

vllm-project
⭐ 3,128 Python 👤 vllm-project Organization 🕐 Aggiornato 2026-11-21 📅 Creato 2025-01-29
19
thu-pacman/chitu

Framework di inferenza ad alte prestazioni per modelli linguistici di grandi dimensioni, incentrato su efficienza, flessibilità e disponibilità.

thu-pacman
⭐ 3,005 Python 👤 thu-pacman Organization 🕐 Aggiornato 2026-11-21 📅 Creato 2025-02-20
20
MoonshotAI/MoBA

MoBA: Mixture of Block Attention per LLM a contesto lungo

MoonshotAI
⭐ 2,122 Python 👤 MoonshotAI Organization 🕐 Aggiornato 2025-04-03 📅 Creato 2025-02-17
21
microsoft/aici

AICI: Prompts come (Wasm) Programmi

microsoft
⭐ 2,077 Rust 👤 microsoft Organization 🕐 Aggiornato 2025-01-22 📅 Creato 2023-09-26
22
SemiAnalysisAI/InferenceX

Piattaforma di ricerca sull’inferenza open source

SemiAnalysisAI
⭐ 2,074 Python 👤 SemiAnalysisAI Organization 🕐 Aggiornato 2026-11-21 📅 Creato 2025-07-12
23
ovg-project/kvcached

Cache KV elastica virtualizzata per la condivisione dinamica della GPU e oltre

ovg-project
⭐ 2,051 Python 👤 ovg-project Organization 🕐 Aggiornato 2026-11-20 📅 Creato 2025-05-27
24
HuangOwen/Awesome-LLM-Compression

Scarti di ricerca e strumenti eccezionali per la compressione di LLM.

HuangOwen
⭐ 1,899 👤 HuangOwen User 🕐 Aggiornato 2026-11-16 📅 Creato 2023-05-30
25
RunanywhereAI/trnrt

Il motore di inferenza LLM open source per AWS Trainium: megakernel NKI, contesto da 1 milione di token e API compatibile con OpenAI. Di RunAnywhere.

RunanywhereAI
⭐ 1,653 Python 👤 RunanywhereAI Organization 🕐 Aggiornato 2026-11-20 📅 Creato 2026-10-30
26
GradientHQ/parallax

Parallax è un framework di servizio di modelli distribuito che ti consente di costruire il tuo cluster IA ovunque

GradientHQ
⭐ 1,429 Python 👤 GradientHQ Organization 🕐 Aggiornato 2026-07-01 📅 Creato 2025-09-22
27
peonist-ai/halogen-flash-server

Inferenza locale con un comportamento simile a quello di un’API all’avanguardia: Qwen3.8-Flash-Next su AMD Strix Halo, insieme a piccoli modelli NPU, tramite le API di OpenAI e Anthropic su un’unica porta.

peonist-ai
⭐ 1,412 Shell 👤 peonist-ai Organization 🕐 Aggiornato 2026-11-18 📅 Creato 2026-08-26
28
alibaba/rtp-llm

RTP-LLM: Il motore di inferenza LLM ad alte prestazioni di Alibaba per diverse applicazioni.

alibaba
⭐ 1,402 Python 👤 alibaba Organization 🕐 Aggiornato 2026-11-21 📅 Creato 2023-12-27
29
microsoft/MInference

[NeurIPS'24 Spotlight, ICLR'25, ICML'25] Per accelerare l'inferenza dei LLM a lungo contesto, il calcolo approssimato e dinamico sparso dell'attenzione riduce la latenza di inferenza fino a 10 volte per il pre-fill su un A100, mantenendo l'accuratezza.

microsoft
⭐ 1,230 Python 👤 microsoft Organization 🕐 Aggiornato 2026-11-18 📅 Creato 2024-05-22
30
efeslab/Nanoflow

Un framework di serving ad alte prestazioni orientato al throughput per LLM

efeslab
⭐ 978 Jupyter Notebook 👤 efeslab Organization 🕐 Aggiornato 2026-03-29 📅 Creato 2024-08-19
31
zhihu/ZhiLight

Un motore di accelerazione per l'inferenza LLM altamente ottimizzato per Llama e le sue varianti.

zhihu
⭐ 906 C++ 👤 zhihu Organization 🕐 Aggiornato 2026-03-18 📅 Creato 2024-12-06
32
mosecorg/mosec

Un framework di serving per modelli ML ad alte prestazioni, offre batching dinamico e pipeline CPU/GPU per sfruttare appieno la tua macchina di calcolo

mosecorg
⭐ 905 Python 👤 mosecorg Organization 🕐 Aggiornato 2026-11-02 📅 Creato 2021-03-13
33
triton-inference-server/tutorials

Questo repository contiene tutorial ed esempi per Triton Inference Server

triton-inference-server
⭐ 869 Python 👤 triton-inference-server Organization 🕐 Aggiornato 2026-11-17 📅 Creato 2022-12-16
34
mit-han-lab/omniserve

[MLSys'25] QServe: Quantizzazione W4A8KV4 e co-progettazione del sistema per un serving efficiente di LLM; [MLSys'25] LServe: Serving efficiente di LLM per sequenze lunghe con attenzione sparsa unificata

mit-han-lab
⭐ 840 C++ 👤 mit-han-lab Organization 🕐 Aggiornato 2025-03-06 📅 Creato 2024-05-06
35
helixml/helix

♾️ Flotta di Agenti Privati con Codifica Specifica. Ogni agente ottiene il proprio desktop accelerato da GPU. Esegui Claude, Codex, Gemini e modelli open su uno Stack AI Privato Completo ♾️

helixml
⭐ 833 Go 👤 helixml Organization 🕐 Aggiornato 2026-11-20 📅 Creato 2023-10-17
36
LLMServe/DistServe

Sistema di serving disaggregato per modelli linguistici di grandi dimensioni (LLM).

LLMServe
⭐ 817 Jupyter Notebook 👤 LLMServe Organization 🕐 Aggiornato 2025-04-06 📅 Creato 2024-01-16
37
ARahim3/kaggle-tpu-lab

Modelli open di livello frontier su una TPU v5e-8 gratuita di Kaggle: GLM-5.3-Flash 320B MoE (~165 token/s, con il nostro motore JAX) e Qwen3.8-27B bf16 (~130 token/s), contesto da 262k e caching dei prefissi. Funziona con Claude Code, Codex, opencode e pi.

ARahim3
⭐ 812 Python 👤 ARahim3 User 🕐 Aggiornato 2026-10-06 📅 Creato 2026-08-31
38
nunchaku-ai/deepcompressor

Toolbox per la Compressione di Modelli per Grandi Modelli Linguistici e Modelli di Diffusione

nunchux-ai
⭐ 799 Python 👤 nunchux-ai Organization 🕐 Aggiornato 2025-08-14 📅 Creato 2024-05-06
39
pegainfer-project/pegainfer

Motore di inferenza LLM puro Rust + CUDA — nessun PyTorch, compatibile con OpenAI, serve da Qwen3 a Kimi-K2

pegainfer-project
⭐ 748 Rust 👤 pegainfer-project Organization 🕐 Aggiornato 2026-11-21 📅 Creato 2026-02-17
40
owenliang/qwen-vllm

Tongyi Qianwen VLLM Inferenza Deployment DEMO

owenliang
⭐ 637 Python 👤 owenliang User 🕐 Aggiornato 2024-03-28 📅 Creato 2024-01-21
42
rohan-paul/LLM-FineTuning-Large-Language-Models

FineTuning di LLM (Large Language Model)

rohan-paul
⭐ 574 Jupyter Notebook 👤 rohan-paul User 🕐 Aggiornato 2025-04-01 📅 Creato 2023-10-22
43
llumnix-project/llumnix-ray

Servizio LLM multi-istanza efficiente e semplice

llumnix-project
⭐ 561 Python 👤 llumnix-project Organization 🕐 Aggiornato 2026-03-12 📅 Creato 2024-05-20
44
OmniJev/Flide

🔥🔥 Il motore di inferenza estremamente veloce per i modelli decisionali

OmniJev
⭐ 550 Python 👤 OmniJev Organization 🕐 Aggiornato 2026-11-21 📅 Creato 2026-10-24

Domande frequenti

1

Qual è il repository #llm-serving più popolare su GitHub?

Il progetto open source #llm-serving più alto in classifica su GitHub è vllm-project/vllm, con 97,302 stelle. Un motore di inferenza e serving per LLM ad alta produttività ed efficiente in termini di memoria

2

Quali linguaggi di programmazione sono più utilizzati nei repository #llm-serving?

Tra i progetti #llm-serving più alti in classifica su GitHub, i linguaggi di programmazione più comuni sono Python, Jupyter Notebook, Rust, C++.

3

Come viene calcolata la classifica dei repository #llm-serving?

Monitoriamo 44 repository open source attivi contrassegnati con #llm-serving (500+ stelle), per un totale di 381,346 stelle e una media di 8,666 stelle per repository. Le classifiche vengono aggiornate quotidianamente tramite l’API di GitHub.