#vllm Repository
134 repository in totale
[EMNLP 2024 & AAAI 2026] Un potente toolkit per comprimere modelli di grandi dimensioni, inclusi LLM, VLM e modelli generativi video.
Motore di inferenza LLM puro Rust + CUDA โ nessun PyTorch, compatibile con OpenAI, serve da Qwen3 a Kimi-K2
Gateway LLM indipendente dal motore, sviluppato in Rust. Compatibilitร completa con le API di OpenAI e Anthropic su vLLM, TRT-LLM, TokenSpeed, SGLang, OpenAI, Gemini e altro ancora. Pipeline gRPC prima nel settore, routing consapevole della cache KV, cronologia delle chat, caching della tokenizzazione, Responses API, embedding, plugin WASM, MCP e autenticazione multi-tenant.
EfficientSAM3 comprime SAM3 in modelli leggeri e friendly per edge tramite distillazione di conoscenza progressiva per segmentazione e tracciamento rapidi di concetti promptabili.
Sistema operativo per agenti IA self-hosted. La tua memoria, le chat, gli agenti e i file rimangono sull'hardware di tua proprietร , offline per impostazione predefinita, nel cloud per scelta. Include memoria IA offline (taOSmd), chat di gruppo multi-framework self-hosted, un desktop web completo + app store e clustering automatico sull'hardware consumer che giร possiedi (Orange/Raspberry Pi, Mac mini, PC da gaming).
Fornisce sintesi vocale cinese di alta qualitร e clonazione vocale basata su modelli come SparkTTS, OrpheusTTS, ecc.
Esegui qualsiasi agente su qualsiasi modello; i modelli sono archiviati come immagini OCI
Modelli MoE allโavanguardia su RTX PRO 6000 / RTX 5090 (sm_120): DeepSeek-V4.1-Flash su 4 RTX PRO 6000, in configurazione ibrida GPU+CPU su 4 RTX 5090 e modelli esperti a 2 bit su vLLM v0.24.0
sparkrun: avvia, gestisci e arresta i carichi di lavoro di inferenza LLM sui sistemi NVIDIA DGX Spark. Supporto in tempo reale: https://discord.com/invite/GH5kRgv6ZD
[CVPR 2025] RoboBrain: Un modello cerebrale unificato per la manipolazione robotica dall'astratto al concreto. Repository ufficiale.
Yi-1.5 รจ una versione aggiornata di Yi, che offre prestazioni piรน elevate in termini di codice, matematica, ragionamento e capacitร di seguire le istruzioni.
Un'interfaccia web moderna per gestire e interagire con i server vLLM (www.github.com/vllm-project/vllm). Supporta sia le modalitร GPU che CPU, con ottimizzazioni speciali per macOS Apple Silicon e per il deployment aziendale su OpenShift/Kubernetes.
Postazione creativa AI full-stack con prioritร al locale: cinque moduli โ chat AI, fumetti AI, creazione di drammi a fumetti, spazio di scrittura e apprendimento delle conoscenze โ; inferenza locale con piรน motori (vLLM / llama.cpp / Transformers), gestione intelligente della VRAM, isolamento a compartimenti e autoriparazione. Solo a scopo didattico; commenti e confronti sono benvenuti. (A causa di restrizioni del protocollo, al momento non รจ possibile inviare al repository gli ultimi progressi, ad eccezione del sistema di plugin.)
Open Model Engine (OME) โ operatore Kubernetes per il serving degli LLM, la pianificazione delle GPU e la gestione del ciclo di vita dei modelli. Compatibile con SGLang, vLLM, TensorRT-LLM e Triton
KVarN รจ un backend nativo di vLLM per la quantizzazione della cache KV dei tuoi agenti: da 3 a 5 volte piรน contesto, throughput superiore a FP16 e accuratezza di livello FP16. Senza calibrazione, basta un flag.
Modelli vocali open full-duplex che percepiscono il tuo tono e parlano con il proprio. Una sola GPU con vLLM-Omni, oppure funzionamento completamente offline su Mac con MLX. Clonazione vocale zero-shot, compatibili con OpenAI Realtime / GPT-Live, con prova gratuita dellโAPI ospitata. Apache-2.0.
Uno strumento di interfaccia a riga di comando per servire LLM utilizzando vLLM.
Ablazione completamente senza censura e con capacitร potenziate di Qwen3.6-27B. Decodifica speculativa NVFP4 + z-lab DFlash (n=12) nel container unificato ghcr.io/aeon-7/aeon-vllm-ultimate:latest, ottimizzata per lโaccettazione delle proposte in contesti lunghi su DGX Spark. 6 varianti HF (BF16/NVFP4/MTP/MTP-XS), docker-compose e guida QuickStart.