Git Stars Git Stars

#llm-serving Dépôts

Découvrez 44 dépôts GitHub open source actifs associés à #llm-serving, cumulant 381,346 étoiles au total (soit une moyenne de 8,666 étoiles par projet). Le projet en tête de ce thème est vllm-project/vllm, avec 97,302 étoiles.

44
Total des Dépôts
381,346
Nombre total d'étoiles
8,666
Moyenne d'Étoiles/Dépôt
1
vllm-project/vllm

Un moteur d'inférence et de service pour LLM à haut débit et efficace en mémoire

vllm-project
⭐ 97,302 Python 👤 vllm-project Organization 🕐 Mis à jour 2026-11-21 📅 Créé 2023-02-09
2
exo-explore/exo

Exécutez Frontier AI localement.

exo-explore
⭐ 48,516 Python 👤 exo-explore Organization 🕐 Mis à jour 2026-11-06 📅 Créé 2024-06-24
3
ray-project/ray

Ray est un moteur de calcul IA. Ray est composé d'un runtime distribué central et d'un ensemble de bibliothèques IA pour accélérer les charges de travail ML.

ray-project
⭐ 44,352 Python 👤 ray-project Organization 🕐 Mis à jour 2026-11-21 📅 Créé 2016-10-25
4
lm-sys/FastChat

Une plateforme ouverte pour l'entraînement, le déploiement et l'évaluation de grands modèles linguistiques. Dépôt de publication pour Vicuna et Chatbot Arena.

lm-sys
⭐ 39,550 Python 👤 lm-sys Organization 🕐 Mis à jour 2026-05-01 📅 Créé 2023-03-19
5
liguodongiot/llm-action

Ce projet vise à partager les principes techniques et l'expérience pratique liés aux grands modèles (ingénierisation des grands modèles, mise en œuvre pratique des grands modèles).

liguodongiot
⭐ 25,297 HTML 👤 liguodongiot User 🕐 Mis à jour 2026-10-14 📅 Créé 2023-05-23
6
NVIDIA/TensorRT-LLM

TensorRT LLM fournit aux utilisateurs une API Python facile à utiliser pour définir des grands modèles linguistiques (LLM) et prend en charge des optimisations de pointe pour effectuer des inférences efficacement sur les GPU NVIDIA. TensorRT LLM contient également des composants pour créer des runtimes Python et C++ qui orchestrent l'exécution de l'inférence de manière performante.

NVIDIA
⭐ 15,112 Python 👤 NVIDIA Organization 🕐 Mis à jour 2026-11-21 📅 Créé 2023-08-16
7
bentoml/OpenLLM

Exécutez n'importe quel LLM open-source, tel que DeepSeek et Llama, en tant qu'endpoint API compatible avec OpenAI dans le cloud.

bentoml
⭐ 12,610 Python 👤 bentoml Organization 🕐 Mis à jour 2026-11-16 📅 Créé 2023-04-19
8
skypilot-org/skypilot

La plateforme de calcul IA pour les équipes de pointe. SkyPilot transforme le calcul IA fragmenté en un superordinateur IA, permettant aux équipes de pointe de construire plus rapidement une intelligence personnalisée.

skypilot-org
⭐ 10,869 Python 👤 skypilot-org Organization 🕐 Mis à jour 2026-11-21 📅 Créé 2021-08-11
9
bentoml/BentoML

La manière la plus simple de servir des applications et modèles IA - Créez des API d'inférence de modèles, des files d'attente de tâches, des applications LLM, des pipelines multi-modèles et plus encore !

bentoml
⭐ 8,944 Python 👤 bentoml Organization 🕐 Mis à jour 2026-11-17 📅 Créé 2019-04-02
10
bojieli/ai-infra-book

《Comprendre en profondeur l’infrastructure de l’IA : analyse quantitative et conception de systèmes》 (de Li Bojie), un manuscrit de livre open source : à partir des contraintes matérielles et de l’architecture des modèles, il déduit quantitativement la conception des systèmes d’inférence et d’entraînement des LLM. Comprend le texte intégral, le PDF, des outils de calcul associés et des expériences.

bojieli
⭐ 8,179 Python 👤 bojieli User 🕐 Mis à jour 2026-10-01 📅 Créé 2026-08-22
11
z-lab/dflash

DFlash : Diffusion de blocs pour le décodage spéculatif Flash

z-lab
⭐ 6,254 Python 👤 z-lab Organization 🕐 Mis à jour 2026-08-18 📅 Créé 2026-01-04
12
gpustack/gpustack

Un gestionnaire de cluster GPU pour le service de modèles d'IA haute performance (vLLM, SGLang) et des instances GPU accessibles par SSH à la demande.

gpustack
⭐ 6,097 Python 👤 gpustack Organization 🕐 Mis à jour 2026-11-20 📅 Créé 2024-05-11
13
sgl-project/mini-sglang

Une implémentation compacte de SGLang, conçue pour démystifier les complexités des systèmes modernes de service de LLM.

sgl-project
⭐ 5,623 Python 👤 sgl-project Organization 🕐 Mis à jour 2026-05-17 📅 Créé 2025-09-01
14
superduper-io/superduper

Superduper : Framework de bout en bout pour la création d'applications et d'agents IA personnalisés.

superduper-io
⭐ 5,317 Python 👤 superduper-io Organization 🕐 Mis à jour 2025-09-01 📅 Créé 2022-08-30
15
SylphAI-Inc/LLM-engineer-handbook

Une liste organisée de ressources sur les grands modèles de langage, couvrant la formation, le déploiement, le fine-tuning des modèles et la création d'applications LLM.

SylphAI-Inc
⭐ 5,014 👤 SylphAI-Inc Organization 🕐 Mis à jour 2025-08-18 📅 Créé 2024-11-04
16
predibase/lorax

Serveur d'inférence Multi-LoRA qui évolue vers des milliers de LLM affinés

predibase
⭐ 3,836 Python 👤 predibase Organization 🕐 Mis à jour 2026-05-28 📅 Créé 2023-10-20
17
PaddlePaddle/FastDeploy

Kit d'outils d'inférence et de déploiement haute performance pour LLM et VLM basé sur PaddlePaddle

PaddlePaddle
⭐ 3,722 Python 👤 PaddlePaddle Organization 🕐 Mis à jour 2026-09-24 📅 Créé 2022-06-27
18
vllm-project/vllm-ascend

Plugin matériel pour vLLM sur Huawei Ascend, maintenu par la communauté

vllm-project
⭐ 3,128 Python 👤 vllm-project Organization 🕐 Mis à jour 2026-11-21 📅 Créé 2025-01-29
19
thu-pacman/chitu

Framework d'inférence haute performance pour les grands modèles de langage, axé sur l'efficacité, la flexibilité et la disponibilité.

thu-pacman
⭐ 3,005 Python 👤 thu-pacman Organization 🕐 Mis à jour 2026-11-21 📅 Créé 2025-02-20
20
MoonshotAI/MoBA

MoBA: Mixture of Block Attention pour les LLM à long contexte

MoonshotAI
⭐ 2,122 Python 👤 MoonshotAI Organization 🕐 Mis à jour 2025-04-03 📅 Créé 2025-02-17
21
microsoft/aici

AICI : Prompts en tant que programmes (Wasm)

microsoft
⭐ 2,077 Rust 👤 microsoft Organization 🕐 Mis à jour 2025-01-22 📅 Créé 2023-09-26
22
SemiAnalysisAI/InferenceX

Plateforme de recherche en inférence open source

SemiAnalysisAI
⭐ 2,074 Python 👤 SemiAnalysisAI Organization 🕐 Mis à jour 2026-11-21 📅 Créé 2025-07-12
23
ovg-project/kvcached

Cache KV élastique virtualisé pour le partage dynamique de GPU et au-delà

ovg-project
⭐ 2,051 Python 👤 ovg-project Organization 🕐 Mis à jour 2026-11-20 📅 Créé 2025-05-27
24
HuangOwen/Awesome-LLM-Compression

Excellents articles de recherche et outils pour la compression des LLM.

HuangOwen
⭐ 1,899 👤 HuangOwen User 🕐 Mis à jour 2026-11-16 📅 Créé 2023-05-30
25
RunanywhereAI/trnrt

Le moteur d’inférence LLM open source pour AWS Trainium : méganoyaux NKI, contexte de 1 million de tokens et API compatible avec OpenAI. Par RunAnywhere.

RunanywhereAI
⭐ 1,653 Python 👤 RunanywhereAI Organization 🕐 Mis à jour 2026-11-20 📅 Créé 2026-10-30
26
GradientHQ/parallax

Parallax est un framework de service de modèles distribué qui vous permet de créer votre propre cluster d'IA n'importe où

GradientHQ
⭐ 1,429 Python 👤 GradientHQ Organization 🕐 Mis à jour 2026-07-01 📅 Créé 2025-09-22
27
peonist-ai/halogen-flash-server

Inférence locale au comportement comparable à celui d’une API de pointe : Qwen3.8-Flash-Next sur AMD Strix Halo, ainsi que de petits modèles NPU, via les API d’OpenAI et d’Anthropic sur un seul port.

peonist-ai
⭐ 1,412 Shell 👤 peonist-ai Organization 🕐 Mis à jour 2026-11-18 📅 Créé 2026-08-26
28
alibaba/rtp-llm

RTP-LLM : Le moteur d'inférence LLM haute performance d'Alibaba pour diverses applications.

alibaba
⭐ 1,402 Python 👤 alibaba Organization 🕐 Mis à jour 2026-11-21 📅 Créé 2023-12-27
29
microsoft/MInference

[NeurIPS'24 Spotlight, ICLR'25, ICML'25] Pour accélérer l'inférence des LLM à long contexte, des calculs d'attention épars approximatifs et dynamiques réduisent la latence d'inférence jusqu'à 10 fois pour le pré-remplissage sur un A100 tout en maintenant la précision.

microsoft
⭐ 1,230 Python 👤 microsoft Organization 🕐 Mis à jour 2026-11-18 📅 Créé 2024-05-22
30
efeslab/Nanoflow

Un framework de service haute performance axé sur le débit pour les LLM

efeslab
⭐ 978 Jupyter Notebook 👤 efeslab Organization 🕐 Mis à jour 2026-03-29 📅 Créé 2024-08-19
31
zhihu/ZhiLight

Un moteur d'accélération d'inférence LLM hautement optimisé pour Llama et ses variantes.

zhihu
⭐ 906 C++ 👤 zhihu Organization 🕐 Mis à jour 2026-03-18 📅 Créé 2024-12-06
32
mosecorg/mosec

Un framework de service de modèle ML haute performance, offre le traitement par lots dynamique et les pipelines CPU/GPU pour exploiter pleinement votre machine de calcul

mosecorg
⭐ 905 Python 👤 mosecorg Organization 🕐 Mis à jour 2026-11-02 📅 Créé 2021-03-13
33
triton-inference-server/tutorials

Ce dépôt contient des tutoriels et des exemples pour Triton Inference Server

triton-inference-server
⭐ 869 Python 👤 triton-inference-server Organization 🕐 Mis à jour 2026-11-17 📅 Créé 2022-12-16
34
mit-han-lab/omniserve

[MLSys'25] QServe : Quantification W4A8KV4 et co-conception de systèmes pour un service LLM efficace ; [MLSys'25] LServe : Service LLM efficace pour les longues séquences avec attention éparse unifiée

mit-han-lab
⭐ 840 C++ 👤 mit-han-lab Organization 🕐 Mis à jour 2025-03-06 📅 Créé 2024-05-06
35
helixml/helix

♾️ Flotte d'Agents Privés avec Codage Spécifique. Chaque agent obtient son propre bureau accéléré par GPU. Exécutez Claude, Codex, Gemini et modèles ouverts sur une Pile IA Privée Complète ♾️

helixml
⭐ 833 Go 👤 helixml Organization 🕐 Mis à jour 2026-11-20 📅 Créé 2023-10-17
36
LLMServe/DistServe

Système de service désagrégé pour les grands modèles de langage (LLM).

LLMServe
⭐ 817 Jupyter Notebook 👤 LLMServe Organization 🕐 Mis à jour 2025-04-06 📅 Créé 2024-01-16
37
ARahim3/kaggle-tpu-lab

Modèles ouverts de niveau frontière sur un TPU v5e-8 gratuit de Kaggle : GLM-5.3-Flash 320B MoE (~165 tok/s, avec notre propre moteur JAX) et Qwen3.8-27B bf16 (~130 tok/s), contexte de 262k et mise en cache des préfixes. Compatible avec Claude Code, Codex, opencode et pi.

ARahim3
⭐ 812 Python 👤 ARahim3 User 🕐 Mis à jour 2026-10-06 📅 Créé 2026-08-31
38
nunchaku-ai/deepcompressor

Boîte à outils de compression de modèles pour les grands modèles linguistiques et les modèles de diffusion

nunchux-ai
⭐ 799 Python 👤 nunchux-ai Organization 🕐 Mis à jour 2025-08-14 📅 Créé 2024-05-06
39
pegainfer-project/pegainfer

Moteur d'inférence LLM pur Rust + CUDA — pas de PyTorch, compatible OpenAI, sert de Qwen3 à Kimi-K2

pegainfer-project
⭐ 748 Rust 👤 pegainfer-project Organization 🕐 Mis à jour 2026-11-21 📅 Créé 2026-02-17
40
owenliang/qwen-vllm

Tongyi Qianwen VLLM Déploiement d'inférence DEMO

owenliang
⭐ 637 Python 👤 owenliang User 🕐 Mis à jour 2024-03-28 📅 Créé 2024-01-21
42
rohan-paul/LLM-FineTuning-Large-Language-Models

Affinage de LLM (Large Language Model)

rohan-paul
⭐ 574 Jupyter Notebook 👤 rohan-paul User 🕐 Mis à jour 2025-04-01 📅 Créé 2023-10-22
43
llumnix-project/llumnix-ray

Service LLM multi-instance efficace et facile

llumnix-project
⭐ 561 Python 👤 llumnix-project Organization 🕐 Mis à jour 2026-03-12 📅 Créé 2024-05-20
44
OmniJev/Flide

🔥🔥 Le moteur d’inférence ultra-rapide pour les modèles de décision

OmniJev
⭐ 550 Python 👤 OmniJev Organization 🕐 Mis à jour 2026-11-21 📅 Créé 2026-10-24

Foire aux questions

1

Quel est le dépôt #llm-serving le plus populaire sur GitHub ?

Le projet #llm-serving open source le mieux classé sur GitHub est vllm-project/vllm, avec 97,302 étoiles. Un moteur d'inférence et de service pour LLM à haut débit et efficace en mémoire

2

Quels langages de programmation sont les plus utilisés dans les dépôts #llm-serving ?

Parmi les projets #llm-serving les mieux classés sur GitHub, les langages de programmation les plus courants sont Python, Jupyter Notebook, Rust, C++.

3

Comment le classement des dépôts #llm-serving est-il calculé ?

Nous suivons 44 dépôts open source actifs associés à #llm-serving (500+ étoiles), totalisant 381,346 étoiles, avec une moyenne de 8,666 étoiles par dépôt. Les classements sont mis à jour quotidiennement à partir de l’API GitHub.