Git Stars Git Stars

#vllm Repository

133
Totale Repository
554,542
Totale stelle
4,169
Media Stelle/Repo
101
ModelTC/LightCompress

[EMNLP 2024 & AAAI 2026] Un potente toolkit per comprimere modelli di grandi dimensioni, inclusi LLM, VLM e modelli generativi video.

ModelTC
โญ 755 Python ๐Ÿ‘ค ModelTC Organization ๐Ÿ• Aggiornato 2026-05-14 ๐Ÿ“… Creato 2024-03-06
102
pegainfer-project/pegainfer

Motore di inferenza LLM puro Rust + CUDA โ€” nessun PyTorch, compatibile con OpenAI, serve da Qwen3 a Kimi-K2

pegainfer-project
โญ 748 Rust ๐Ÿ‘ค pegainfer-project Organization ๐Ÿ• Aggiornato 2026-11-21 ๐Ÿ“… Creato 2026-02-17
103
smg-project/smg

Gateway LLM indipendente dal motore, sviluppato in Rust. Compatibilitร  completa con le API di OpenAI e Anthropic su vLLM, TRT-LLM, TokenSpeed, SGLang, OpenAI, Gemini e altro ancora. Pipeline gRPC prima nel settore, routing consapevole della cache KV, cronologia delle chat, caching della tokenizzazione, Responses API, embedding, plugin WASM, MCP e autenticazione multi-tenant.

smg-project
โญ 736 Rust ๐Ÿ‘ค smg-project Organization ๐Ÿ• Aggiornato 2026-11-21 ๐Ÿ“… Creato 2025-11-22
104
microsoft/vidur

Simulatore preciso, su larga scala ed estensibile per sistemi di inferenza LLM

microsoft
โญ 733 Python ๐Ÿ‘ค microsoft Organization ๐Ÿ• Aggiornato 2026-08-24 ๐Ÿ“… Creato 2023-11-02
โญ 727 Python ๐Ÿ‘ค Tencent-Hunyuan Organization ๐Ÿ• Aggiornato 2025-12-30 ๐Ÿ“… Creato 2025-08-28
106
SimonZeng7108/efficientsam3

EfficientSAM3 comprime SAM3 in modelli leggeri e friendly per edge tramite distillazione di conoscenza progressiva per segmentazione e tracciamento rapidi di concetti promptabili.

SimonZeng7108
โญ 713 Jupyter Notebook ๐Ÿ‘ค SimonZeng7108 User ๐Ÿ• Aggiornato 2026-08-11 ๐Ÿ“… Creato 2025-10-16
โญ 703 Python ๐Ÿ‘ค stepfun-ai Organization ๐Ÿ• Aggiornato 2026-04-29 ๐Ÿ“… Creato 2025-11-11
108
ChenxinAn-fdu/POLARIS

Scalare RL su modelli di ragionamento avanzati

ChenxinAn-fdu
โญ 697 Python ๐Ÿ‘ค ChenxinAn-fdu User ๐Ÿ• Aggiornato 2025-10-20 ๐Ÿ“… Creato 2025-06-18
109
IEIT-Yuan/Yuan-2.0

Yuan 2.0 Large Language Model

IEIT-Yuan
โญ 689 Python ๐Ÿ‘ค IEIT-Yuan Organization ๐Ÿ• Aggiornato 2024-07-11 ๐Ÿ“… Creato 2023-11-26
110
mlabonne/llm-autoeval

Valuta automaticamente i tuoi LLM in Google Colab

mlabonne
โญ 678 Python ๐Ÿ‘ค mlabonne User ๐Ÿ• Aggiornato 2024-05-07 ๐Ÿ“… Creato 2024-01-01
111
owenliang/qwen-vllm

Tongyi Qianwen VLLM Inferenza Deployment DEMO

owenliang
โญ 637 Python ๐Ÿ‘ค owenliang User ๐Ÿ• Aggiornato 2024-03-28 ๐Ÿ“… Creato 2024-01-21
112
firstbatchxyz/mem-agent-mcp

mem-agent mcp server

firstbatchxyz
โญ 628 Python ๐Ÿ‘ค firstbatchxyz Organization ๐Ÿ• Aggiornato 2025-11-17 ๐Ÿ“… Creato 2025-09-01
113
mlfoundations/evalchemy

Valutazioni automatiche per LLM

mlfoundations
โญ 617 HTML ๐Ÿ‘ค mlfoundations Organization ๐Ÿ• Aggiornato 2026-11-12 ๐Ÿ“… Creato 2024-11-15
114
jaylfc/taOS

Sistema operativo per agenti IA self-hosted. La tua memoria, le chat, gli agenti e i file rimangono sull'hardware di tua proprietร , offline per impostazione predefinita, nel cloud per scelta. Include memoria IA offline (taOSmd), chat di gruppo multi-framework self-hosted, un desktop web completo + app store e clustering automatico sull'hardware consumer che giร  possiedi (Orange/Raspberry Pi, Mac mini, PC da gaming).

jaylfc
โญ 609 Python ๐Ÿ‘ค jaylfc User ๐Ÿ• Aggiornato 2026-11-20 ๐Ÿ“… Creato 2026-04-05
115
HuiResearch/FlashTTS

Fornisce sintesi vocale cinese di alta qualitร  e clonazione vocale basata su modelli come SparkTTS, OrpheusTTS, ecc.

HuiResearch
โญ 603 Python ๐Ÿ‘ค HuiResearch User ๐Ÿ• Aggiornato 2025-05-18 ๐Ÿ“… Creato 2025-03-13
116
MoonshotAI/K2-Vendor-Verifier

Verificare la precisione di tutti i fornitori API Kimi K2

MoonshotAI
โญ 602 Python ๐Ÿ‘ค MoonshotAI Organization ๐Ÿ• Aggiornato 2026-02-14 ๐Ÿ“… Creato 2025-09-09
117
llmmanorg/llmman

Esegui qualsiasi agente su qualsiasi modello; i modelli sono archiviati come immagini OCI

llmmanorg
โญ 598 Rust ๐Ÿ‘ค llmmanorg Organization ๐Ÿ• Aggiornato 2026-11-21 ๐Ÿ“… Creato 2026-03-22
119
kacper-daftcode/vLLM-Moet

Modelli MoE allโ€™avanguardia su RTX PRO 6000 / RTX 5090 (sm_120): DeepSeek-V4.1-Flash su 4 RTX PRO 6000, in configurazione ibrida GPU+CPU su 4 RTX 5090 e modelli esperti a 2 bit su vLLM v0.24.0

kacper-daftcode
โญ 580 Sass ๐Ÿ‘ค kacper-daftcode User ๐Ÿ• Aggiornato 2026-11-18 ๐Ÿ“… Creato 2026-06-15
120
raids-lab/crater

Crater รจ una piattaforma di addestramento e inferenza AI nativa del cloud.

raids-lab
โญ 578 Go ๐Ÿ‘ค raids-lab Organization ๐Ÿ• Aggiornato 2026-11-20 ๐Ÿ“… Creato 2025-06-08
โญ 568 Python ๐Ÿ‘ค pipecat-ai Organization ๐Ÿ• Aggiornato 2026-06-03 ๐Ÿ“… Creato 2026-01-01
122
fufankeji/DeepSeek-OCR-Web

Web Studio per l'analisi di documenti OCR DeepSeek pronto all'uso

fufankeji
โญ 568 TypeScript ๐Ÿ‘ค fufankeji User ๐Ÿ• Aggiornato 2025-10-27 ๐Ÿ“… Creato 2025-10-23
123
spark-arena/sparkrun

sparkrun: avvia, gestisci e arresta i carichi di lavoro di inferenza LLM sui sistemi NVIDIA DGX Spark. Supporto in tempo reale: https://discord.com/invite/GH5kRgv6ZD

spark-arena
โญ 567 Python ๐Ÿ‘ค spark-arena Organization ๐Ÿ• Aggiornato 2026-11-17 ๐Ÿ“… Creato 2026-02-16
124
FlagOpen/RoboBrain

[CVPR 2025] RoboBrain: Un modello cerebrale unificato per la manipolazione robotica dall'astratto al concreto. Repository ufficiale.

FlagOpen
โญ 564 Python ๐Ÿ‘ค FlagOpen Organization ๐Ÿ• Aggiornato 2025-10-13 ๐Ÿ“… Creato 2025-03-27
125
llumnix-project/llumnix-ray

Servizio LLM multi-istanza efficiente e semplice

llumnix-project
โญ 561 Python ๐Ÿ‘ค llumnix-project Organization ๐Ÿ• Aggiornato 2026-03-12 ๐Ÿ“… Creato 2024-05-20
126
01-ai/Yi-1.5

Yi-1.5 รจ una versione aggiornata di Yi, che offre prestazioni piรน elevate in termini di codice, matematica, ragionamento e capacitร  di seguire le istruzioni.

01-ai
โญ 557 ๐Ÿ‘ค 01-ai Organization ๐Ÿ• Aggiornato 2024-11-11 ๐Ÿ“… Creato 2024-05-10
โญ 557 Python ๐Ÿ‘ค Snowflake-Labs Organization ๐Ÿ• Aggiornato 2024-08-16 ๐Ÿ“… Creato 2024-04-22
128
micytao/vllm-playground

Un'interfaccia web moderna per gestire e interagire con i server vLLM (www.github.com/vllm-project/vllm). Supporta sia le modalitร  GPU che CPU, con ottimizzazioni speciali per macOS Apple Silicon e per il deployment aziendale su OpenShift/Kubernetes.

micytao
โญ 548 JavaScript ๐Ÿ‘ค micytao User ๐Ÿ• Aggiornato 2026-11-07 ๐Ÿ“… Creato 2025-11-01
129
Yzw202011/OmniSpace

Postazione creativa AI full-stack con prioritร  al locale: cinque moduli โ€” chat AI, fumetti AI, creazione di drammi a fumetti, spazio di scrittura e apprendimento delle conoscenze โ€”; inferenza locale con piรน motori (vLLM / llama.cpp / Transformers), gestione intelligente della VRAM, isolamento a compartimenti e autoriparazione. Solo a scopo didattico; commenti e confronti sono benvenuti. (A causa di restrizioni del protocollo, al momento non รจ possibile inviare al repository gli ultimi progressi, ad eccezione del sistema di plugin.)

Yzw202011
โญ 536 Python ๐Ÿ‘ค Yzw202011 User ๐Ÿ• Aggiornato 2026-09-20 ๐Ÿ“… Creato 2026-08-23
130
ome-projects/ome

Open Model Engine (OME) โ€” operatore Kubernetes per il serving degli LLM, la pianificazione delle GPU e la gestione del ciclo di vita dei modelli. Compatibile con SGLang, vLLM, TensorRT-LLM e Triton

ome-projects
โญ 529 Go ๐Ÿ‘ค ome-projects Organization ๐Ÿ• Aggiornato 2026-11-21 ๐Ÿ“… Creato 2025-05-19
131
huawei-csl/KVarN

KVarN รจ un backend nativo di vLLM per la quantizzazione della cache KV dei tuoi agenti: da 3 a 5 volte piรน contesto, throughput superiore a FP16 e accuratezza di livello FP16. Senza calibrazione, basta un flag.

huawei-csl
โญ 521 Python ๐Ÿ‘ค huawei-csl Organization ๐Ÿ• Aggiornato 2026-06-22 ๐Ÿ“… Creato 2026-05-29
132
adventists-ai/sophon-realtime

Modelli vocali open full-duplex che percepiscono il tuo tono e parlano con il proprio. Una sola GPU con vLLM-Omni, oppure funzionamento completamente offline su Mac con MLX. Clonazione vocale zero-shot, compatibili con OpenAI Realtime / GPT-Live, con prova gratuita dellโ€™API ospitata. Apache-2.0.

adventists-ai
โญ 510 Python ๐Ÿ‘ค adventists-ai Organization ๐Ÿ• Aggiornato 2026-11-20 ๐Ÿ“… Creato 2026-11-04
133
Chen-zexi/vllm-cli

Uno strumento di interfaccia a riga di comando per servire LLM utilizzando vLLM.

Chen-zexi
โญ 507 Python ๐Ÿ‘ค Chen-zexi User ๐Ÿ• Aggiornato 2026-01-25 ๐Ÿ“… Creato 2025-08-14
134
AEON-7/Qwen3.6-27B-AEON-Ultimate-Uncensored-DFlash

Ablazione completamente senza censura e con capacitร  potenziate di Qwen3.6-27B. Decodifica speculativa NVFP4 + z-lab DFlash (n=12) nel container unificato ghcr.io/aeon-7/aeon-vllm-ultimate:latest, ottimizzata per lโ€™accettazione delle proposte in contesti lunghi su DGX Spark. 6 varianti HF (BF16/NVFP4/MTP/MTP-XS), docker-compose e guida QuickStart.

AEON-7
โญ 501 Python ๐Ÿ‘ค AEON-7 User ๐Ÿ• Aggiornato 2026-11-13 ๐Ÿ“… Creato 2026-04-25