#vllm Dépôts
134 dépôts au total
[EMNLP 2024 & AAAI 2026] Une boîte à outils puissante pour compresser les grands modèles, y compris les LLM, les VLM et les modèles génératifs vidéo.
Moteur d'inférence LLM pur Rust + CUDA — pas de PyTorch, compatible OpenAI, sert de Qwen3 à Kimi-K2
Passerelle LLM indépendante du moteur, développée en Rust. Compatibilité complète avec les API d’OpenAI et d’Anthropic pour vLLM, TRT-LLM, TokenSpeed, SGLang, OpenAI, Gemini et bien plus. Pipeline gRPC inédit dans le secteur, routage tenant compte du cache KV, historique des conversations, mise en cache de la tokenisation, Responses API, embeddings, plugins WASM, MCP et authentification multi-tenant.
Simulateur précis, à grande échelle et extensible pour les systèmes d'inférence LLM
EfficientSAM3 compresse SAM3 en des modèles légers et compatibles avec le bord via une distillation de connaissances progressive pour une segmentation et un suivi rapides de concepts promptables.
Mise à l'échelle de l'apprentissage par renforcement sur des modèles de raisonnement avancés
Système d'exploitation pour agents IA auto-hébergé. Vos souvenirs, discussions, agents et fichiers restent sur votre propre matériel, hors ligne par défaut, dans le cloud par choix. Mémoire IA hors ligne (taOSmd), chat de groupe multi-framework auto-hébergé, bureau web complet + boutique d'applications, et clustering automatique sur le matériel grand public que vous possédez déjà (Orange/Raspberry Pi, Mac mini, PC de jeu).
Fournit des services de synthèse vocale chinoise et de clonage vocal de haute qualité basés sur des modèles tels que SparkTTS, OrpheusTTS, etc.
Exécutez n’importe quel agent sur n’importe quel modèle, les modèles étant stockés sous forme d’images OCI
Modèles MoE de pointe sur RTX PRO 6000 / RTX 5090 (sm_120) : DeepSeek-V4.1-Flash sur 4 RTX PRO 6000, en hybride GPU+CPU sur 4 RTX 5090, et experts à 2 bits sur vLLM v0.24.0
sparkrun — lancez, gérez et arrêtez des charges de travail d’inférence de LLM sur les systèmes NVIDIA DGX Spark. Assistance en direct : https://discord.com/invite/GH5kRgv6ZD
[CVPR 2025] RoboBrain : Un modèle de cerveau unifié pour la manipulation robotique de l'abstrait au concret. Dépôt officiel.
Yi-1.5 est une version améliorée de Yi, offrant de meilleures performances en matière de codage, de mathématiques, de raisonnement et de capacité à suivre les instructions.
Une interface web moderne pour gérer et interagir avec les serveurs vLLM (www.github.com/vllm-project/vllm). Prend en charge les modes GPU et CPU, avec des optimisations spéciales pour macOS Apple Silicon et le déploiement en entreprise sur OpenShift/Kubernetes.
Station de création IA full-stack privilégiant le local : cinq modules — conversation avec l’IA, bandes dessinées générées par IA, création de séries en format BD, espace d’écriture et apprentissage des connaissances — ; inférence locale avec plusieurs moteurs (vLLM / llama.cpp / Transformers), gestion intelligente de la mémoire vidéo, isolation en compartiments et autorétablissement. Réservé à l’apprentissage ; échanges et suggestions bienvenus. (En raison de restrictions liées au protocole, les dernières avancées, à l’exception du système de plugins, ne peuvent pas encore être envoyées dans le dépôt.)
Open Model Engine (OME) — opérateur Kubernetes pour le déploiement de services de LLM, l’ordonnancement des GPU et la gestion du cycle de vie des modèles. Compatible avec SGLang, vLLM, TensorRT-LLM et Triton
KVarN est un backend natif vLLM de quantification du cache KV pour vos agents : 3 à 5 fois plus de contexte, un débit supérieur à FP16 et une précision de niveau FP16. Sans calibration, un seul indicateur.
Modèles vocaux ouverts en duplex intégral, capables de percevoir votre ton et de parler avec le leur. Un seul GPU avec vLLM-Omni, ou un fonctionnement entièrement hors ligne sur Mac avec MLX. Clonage vocal zero-shot, compatibles avec OpenAI Realtime / GPT-Live, avec un essai gratuit de l’API hébergée. Apache-2.0.
Un outil d'interface en ligne de commande pour servir des LLM en utilisant vLLM.
Ablation entièrement sans censure et aux capacités améliorées de Qwen3.6-27B. Décodage spéculatif NVFP4 + z-lab DFlash (n=12) dans le conteneur unifié ghcr.io/aeon-7/aeon-vllm-ultimate:latest, optimisé pour l’acceptation des brouillons en contexte long sur DGX Spark. 6 variantes HF (BF16/NVFP4/MTP/MTP-XS), docker-compose et guide de démarrage rapide.