Git Stars Git Stars

#vllm Dépôts

133
Total des Dépôts
554,542
Nombre total d'étoiles
4,169
Moyenne d'Étoiles/Dépôt
101
ModelTC/LightCompress

[EMNLP 2024 & AAAI 2026] Une boîte à outils puissante pour compresser les grands modèles, y compris les LLM, les VLM et les modèles génératifs vidéo.

ModelTC
⭐ 755 Python 👤 ModelTC Organization 🕐 Mis à jour 2026-05-14 📅 Créé 2024-03-06
102
pegainfer-project/pegainfer

Moteur d'inférence LLM pur Rust + CUDA — pas de PyTorch, compatible OpenAI, sert de Qwen3 à Kimi-K2

pegainfer-project
⭐ 748 Rust 👤 pegainfer-project Organization 🕐 Mis à jour 2026-11-21 📅 Créé 2026-02-17
103
smg-project/smg

Passerelle LLM indépendante du moteur, développée en Rust. Compatibilité complète avec les API d’OpenAI et d’Anthropic pour vLLM, TRT-LLM, TokenSpeed, SGLang, OpenAI, Gemini et bien plus. Pipeline gRPC inédit dans le secteur, routage tenant compte du cache KV, historique des conversations, mise en cache de la tokenisation, Responses API, embeddings, plugins WASM, MCP et authentification multi-tenant.

smg-project
⭐ 736 Rust 👤 smg-project Organization 🕐 Mis à jour 2026-11-21 📅 Créé 2025-11-22
104
microsoft/vidur

Simulateur précis, à grande échelle et extensible pour les systèmes d'inférence LLM

microsoft
⭐ 733 Python 👤 microsoft Organization 🕐 Mis à jour 2026-08-24 📅 Créé 2023-11-02
106
SimonZeng7108/efficientsam3

EfficientSAM3 compresse SAM3 en des modèles légers et compatibles avec le bord via une distillation de connaissances progressive pour une segmentation et un suivi rapides de concepts promptables.

SimonZeng7108
⭐ 713 Jupyter Notebook 👤 SimonZeng7108 User 🕐 Mis à jour 2026-08-11 📅 Créé 2025-10-16
⭐ 703 Python 👤 stepfun-ai Organization 🕐 Mis à jour 2026-04-29 📅 Créé 2025-11-11
108
ChenxinAn-fdu/POLARIS

Mise à l'échelle de l'apprentissage par renforcement sur des modèles de raisonnement avancés

ChenxinAn-fdu
⭐ 697 Python 👤 ChenxinAn-fdu User 🕐 Mis à jour 2025-10-20 📅 Créé 2025-06-18
109
IEIT-Yuan/Yuan-2.0

Yuan 2.0 Large Language Model

IEIT-Yuan
⭐ 689 Python 👤 IEIT-Yuan Organization 🕐 Mis à jour 2024-07-11 📅 Créé 2023-11-26
110
mlabonne/llm-autoeval

Évaluez automatiquement vos LLM dans Google Colab

mlabonne
⭐ 678 Python 👤 mlabonne User 🕐 Mis à jour 2024-05-07 📅 Créé 2024-01-01
111
owenliang/qwen-vllm

Tongyi Qianwen VLLM Déploiement d'inférence DEMO

owenliang
⭐ 637 Python 👤 owenliang User 🕐 Mis à jour 2024-03-28 📅 Créé 2024-01-21
112
firstbatchxyz/mem-agent-mcp

mem-agent mcp server

firstbatchxyz
⭐ 628 Python 👤 firstbatchxyz Organization 🕐 Mis à jour 2025-11-17 📅 Créé 2025-09-01
113
mlfoundations/evalchemy

Évaluations automatiques pour les LLM

mlfoundations
⭐ 617 HTML 👤 mlfoundations Organization 🕐 Mis à jour 2026-11-12 📅 Créé 2024-11-15
114
jaylfc/taOS

Système d'exploitation pour agents IA auto-hébergé. Vos souvenirs, discussions, agents et fichiers restent sur votre propre matériel, hors ligne par défaut, dans le cloud par choix. Mémoire IA hors ligne (taOSmd), chat de groupe multi-framework auto-hébergé, bureau web complet + boutique d'applications, et clustering automatique sur le matériel grand public que vous possédez déjà (Orange/Raspberry Pi, Mac mini, PC de jeu).

jaylfc
⭐ 609 Python 👤 jaylfc User 🕐 Mis à jour 2026-11-20 📅 Créé 2026-04-05
115
HuiResearch/FlashTTS

Fournit des services de synthèse vocale chinoise et de clonage vocal de haute qualité basés sur des modèles tels que SparkTTS, OrpheusTTS, etc.

HuiResearch
⭐ 603 Python 👤 HuiResearch User 🕐 Mis à jour 2025-05-18 📅 Créé 2025-03-13
116
MoonshotAI/K2-Vendor-Verifier

Vérifier la précision de tous les fournisseurs d'API Kimi K2

MoonshotAI
⭐ 602 Python 👤 MoonshotAI Organization 🕐 Mis à jour 2026-02-14 📅 Créé 2025-09-09
117
llmmanorg/llmman

Exécutez n’importe quel agent sur n’importe quel modèle, les modèles étant stockés sous forme d’images OCI

llmmanorg
⭐ 598 Rust 👤 llmmanorg Organization 🕐 Mis à jour 2026-11-21 📅 Créé 2026-03-22
119
kacper-daftcode/vLLM-Moet

Modèles MoE de pointe sur RTX PRO 6000 / RTX 5090 (sm_120) : DeepSeek-V4.1-Flash sur 4 RTX PRO 6000, en hybride GPU+CPU sur 4 RTX 5090, et experts à 2 bits sur vLLM v0.24.0

kacper-daftcode
⭐ 580 Sass 👤 kacper-daftcode User 🕐 Mis à jour 2026-11-18 📅 Créé 2026-06-15
120
raids-lab/crater

Crater est une plateforme d'entraînement et d'inférence IA native du cloud.

raids-lab
⭐ 578 Go 👤 raids-lab Organization 🕐 Mis à jour 2026-11-20 📅 Créé 2025-06-08
⭐ 568 Python 👤 pipecat-ai Organization 🕐 Mis à jour 2026-06-03 📅 Créé 2026-01-01
122
fufankeji/DeepSeek-OCR-Web

Web Studio d'analyse de documents OCR DeepSeek prêt à l'emploi

fufankeji
⭐ 568 TypeScript 👤 fufankeji User 🕐 Mis à jour 2025-10-27 📅 Créé 2025-10-23
123
spark-arena/sparkrun

sparkrun — lancez, gérez et arrêtez des charges de travail d’inférence de LLM sur les systèmes NVIDIA DGX Spark. Assistance en direct : https://discord.com/invite/GH5kRgv6ZD

spark-arena
⭐ 567 Python 👤 spark-arena Organization 🕐 Mis à jour 2026-11-17 📅 Créé 2026-02-16
124
FlagOpen/RoboBrain

[CVPR 2025] RoboBrain : Un modèle de cerveau unifié pour la manipulation robotique de l'abstrait au concret. Dépôt officiel.

FlagOpen
⭐ 564 Python 👤 FlagOpen Organization 🕐 Mis à jour 2025-10-13 📅 Créé 2025-03-27
125
llumnix-project/llumnix-ray

Service LLM multi-instance efficace et facile

llumnix-project
⭐ 561 Python 👤 llumnix-project Organization 🕐 Mis à jour 2026-03-12 📅 Créé 2024-05-20
126
01-ai/Yi-1.5

Yi-1.5 est une version améliorée de Yi, offrant de meilleures performances en matière de codage, de mathématiques, de raisonnement et de capacité à suivre les instructions.

01-ai
⭐ 557 👤 01-ai Organization 🕐 Mis à jour 2024-11-11 📅 Créé 2024-05-10
128
micytao/vllm-playground

Une interface web moderne pour gérer et interagir avec les serveurs vLLM (www.github.com/vllm-project/vllm). Prend en charge les modes GPU et CPU, avec des optimisations spéciales pour macOS Apple Silicon et le déploiement en entreprise sur OpenShift/Kubernetes.

micytao
⭐ 548 JavaScript 👤 micytao User 🕐 Mis à jour 2026-11-07 📅 Créé 2025-11-01
129
Yzw202011/OmniSpace

Station de création IA full-stack privilégiant le local : cinq modules — conversation avec l’IA, bandes dessinées générées par IA, création de séries en format BD, espace d’écriture et apprentissage des connaissances — ; inférence locale avec plusieurs moteurs (vLLM / llama.cpp / Transformers), gestion intelligente de la mémoire vidéo, isolation en compartiments et autorétablissement. Réservé à l’apprentissage ; échanges et suggestions bienvenus. (En raison de restrictions liées au protocole, les dernières avancées, à l’exception du système de plugins, ne peuvent pas encore être envoyées dans le dépôt.)

Yzw202011
⭐ 536 Python 👤 Yzw202011 User 🕐 Mis à jour 2026-09-20 📅 Créé 2026-08-23
130
ome-projects/ome

Open Model Engine (OME) — opérateur Kubernetes pour le déploiement de services de LLM, l’ordonnancement des GPU et la gestion du cycle de vie des modèles. Compatible avec SGLang, vLLM, TensorRT-LLM et Triton

ome-projects
⭐ 529 Go 👤 ome-projects Organization 🕐 Mis à jour 2026-11-21 📅 Créé 2025-05-19
131
huawei-csl/KVarN

KVarN est un backend natif vLLM de quantification du cache KV pour vos agents : 3 à 5 fois plus de contexte, un débit supérieur à FP16 et une précision de niveau FP16. Sans calibration, un seul indicateur.

huawei-csl
⭐ 521 Python 👤 huawei-csl Organization 🕐 Mis à jour 2026-06-22 📅 Créé 2026-05-29
132
adventists-ai/sophon-realtime

Modèles vocaux ouverts en duplex intégral, capables de percevoir votre ton et de parler avec le leur. Un seul GPU avec vLLM-Omni, ou un fonctionnement entièrement hors ligne sur Mac avec MLX. Clonage vocal zero-shot, compatibles avec OpenAI Realtime / GPT-Live, avec un essai gratuit de l’API hébergée. Apache-2.0.

adventists-ai
⭐ 510 Python 👤 adventists-ai Organization 🕐 Mis à jour 2026-11-20 📅 Créé 2026-11-04
133
Chen-zexi/vllm-cli

Un outil d'interface en ligne de commande pour servir des LLM en utilisant vLLM.

Chen-zexi
⭐ 507 Python 👤 Chen-zexi User 🕐 Mis à jour 2026-01-25 📅 Créé 2025-08-14
134
AEON-7/Qwen3.6-27B-AEON-Ultimate-Uncensored-DFlash

Ablation entièrement sans censure et aux capacités améliorées de Qwen3.6-27B. Décodage spéculatif NVFP4 + z-lab DFlash (n=12) dans le conteneur unifié ghcr.io/aeon-7/aeon-vllm-ultimate:latest, optimisé pour l’acceptation des brouillons en contexte long sur DGX Spark. 6 variantes HF (BF16/NVFP4/MTP/MTP-XS), docker-compose et guide de démarrage rapide.

AEON-7
⭐ 501 Python 👤 AEON-7 User 🕐 Mis à jour 2026-11-13 📅 Créé 2026-04-25