Git Stars Git Stars

#model-serving Dépôts

Découvrez 51 dépôts GitHub open source actifs associés à #model-serving, cumulant 211,758 étoiles au total (soit une moyenne de 4,152 étoiles par projet). Le projet en tête de ce thème est vllm-project/vllm, avec 97,302 étoiles.

51
Total des Dépôts
211,758
Nombre total d'étoiles
4,152
Moyenne d'Étoiles/Dépôt
1
vllm-project/vllm

Un moteur d'inférence et de service pour LLM à haut débit et efficace en mémoire

vllm-project
⭐ 97,302 Python 👤 vllm-project Organization 🕐 Mis à jour 2026-11-21 📅 Créé 2023-02-09
2
bentoml/BentoML

La manière la plus simple de servir des applications et modèles IA - Créez des API d'inférence de modèles, des files d'attente de tâches, des applications LLM, des pipelines multi-modèles et plus encore !

bentoml
⭐ 8,944 Python 👤 bentoml Organization 🕐 Mis à jour 2026-11-17 📅 Créé 2019-04-02
3
vllm-project/vllm-omni

Un cadre pour l'inférence de modèle efficace avec des modèles d'omni-modalité

vllm-project
⭐ 7,884 Python 👤 vllm-project Organization 🕐 Mis à jour 2026-11-21 📅 Créé 2025-09-11
4
flyteorg/flyte

Orchestration distribuée et sûre du point de vue des types d’agents, de pipelines de ML et d’inférence en temps réel sur votre k8s — en Python pur avec async/await, ainsi que dans d’autres langages (Rust, Go et TypeScript)

flyteorg
⭐ 7,801 Go 👤 flyteorg Organization 🕐 Mis à jour 2026-11-21 📅 Créé 2019-10-21
6
kserve/kserve

Plateforme d'inférence IA générative et prédictive distribuée standardisée pour un déploiement scalable et multi-framework sur Kubernetes

kserve
⭐ 6,253 Go 👤 kserve Organization 🕐 Mis à jour 2026-11-20 📅 Créé 2019-03-27
7
beclab/Olares

Système d'exploitation cloud personnel open source pour agents toujours actifs

beclab
⭐ 5,373 Go 👤 beclab Organization 🕐 Mis à jour 2026-11-21 📅 Créé 2024-04-29
8
ahkarami/Deep-Learning-in-Production

Dans ce dépôt, je partagerai des notes et références utiles sur le déploiement de modèles basés sur l'apprentissage profond en production.

ahkarami
⭐ 4,380 👤 ahkarami User 🕐 Mis à jour 2024-11-09 📅 Créé 2018-05-03
9
ModelTC/LightLLM

LightLLM est un framework basé sur Python pour l'inférence et le service des LLM (grands modèles linguistiques), remarquable pour sa conception légère, sa facilité de mise à l'échelle et ses performances à haute vitesse.

ModelTC
⭐ 4,368 Python 👤 ModelTC Organization 🕐 Mis à jour 2026-11-21 📅 Créé 2023-07-22
10
HuaizhengZhang/AI-Infra-from-Zero-to-Hero

🚀 Système Génial pour l'Apprentissage Automatique ⚡️ Articles sur les Systèmes IA et Pratiques Industrielles. ⚡️ Système pour l'Apprentissage Automatique, LLM (Large Language Model), GenAI (Generative AI). 🍻 OSDI, NSDI, SIGCOMM, SoCC, MLSys, etc. 🗃️ Llama3, Mistral, etc. 🧑‍💻 Tutoriels Vidéo.

HuaizhengZhang
⭐ 4,224 👤 HuaizhengZhang User 🕐 Mis à jour 2025-07-25 📅 Créé 2019-01-07
11
FedML-AI/FedML

FEDML – La bibliothèque ML unifiée et évolutive pour l'entraînement distribué à grande échelle, la mise à disposition de modèles et l'apprentissage fédéré. FEDML Launch, un planificateur inter-cloud, permet en outre d'exécuter n'importe quel travail d'IA sur n'importe quel cloud GPU ou cluster sur site. Basée sur cette bibliothèque, TensorOpera AI (https://TensorOpera.ai) est votre plateforme d'IA générative à grande échelle.

FedML-AI
⭐ 4,068 Python 👤 FedML-AI Organization 🕐 Mis à jour 2026-11-12 📅 Créé 2020-07-21
12
predibase/lorax

Serveur d'inférence Multi-LoRA qui évolue vers des milliers de LLM affinés

predibase
⭐ 3,836 Python 👤 predibase Organization 🕐 Mis à jour 2026-05-28 📅 Créé 2023-10-20
13
vllm-project/vllm-ascend

Plugin matériel pour vLLM sur Huawei Ascend, maintenu par la communauté

vllm-project
⭐ 3,128 Python 👤 vllm-project Organization 🕐 Mis à jour 2026-11-21 📅 Créé 2025-01-29
14
openlake-project/openlake

OpenLake est un moteur de stockage haute performance pour une inférence LLM et un entraînement GPU efficaces

openlake-project
⭐ 3,089 Rust 👤 openlake-project Organization 🕐 Mis à jour 2026-11-19 📅 Créé 2026-04-27
15
thu-pacman/chitu

Framework d'inférence haute performance pour les grands modèles de langage, axé sur l'efficacité, la flexibilité et la disponibilité.

thu-pacman
⭐ 3,005 Python 👤 thu-pacman Organization 🕐 Mis à jour 2026-11-21 📅 Créé 2025-02-20
16
AmberLJC/LLMSys-PaperList

Liste d'articles sur les systèmes de grands modèles linguistiques (LLM)

AmberLJC
⭐ 2,332 Python 👤 AmberLJC User 🕐 Mis à jour 2026-10-20 📅 Créé 2023-06-06
17
tensorchord/envd

🏕️ Environnement de développement reproductible pour les humains et les agents

tensorchord
⭐ 2,249 Go 👤 tensorchord Organization 🕐 Mis à jour 2026-11-19 📅 Créé 2022-04-11
18
microsoft/aici

AICI : Prompts en tant que programmes (Wasm)

microsoft
⭐ 2,077 Rust 👤 microsoft Organization 🕐 Mis à jour 2025-01-22 📅 Créé 2023-09-26
19
tile-ai/TileRT

Runtime basé sur des tuiles pour l'inférence LLM à latence ultra-faible

tile-ai
⭐ 1,906 Python 👤 tile-ai Organization 🕐 Mis à jour 2026-09-24 📅 Créé 2025-11-12
20
sgl-project/sglang-omni

Environnement d’exécution hautes performances pour le service de systèmes de superintelligence interactifs

sgl-project
⭐ 1,882 Python 👤 sgl-project Organization 🕐 Mis à jour 2026-11-21 📅 Créé 2026-01-07
21
janhq/awesome-local-ai

Un incroyable dépôt d'outils d'IA locaux

janhq
⭐ 1,791 👤 janhq Organization 🕐 Mis à jour 2024-11-13 📅 Créé 2023-09-06
22
mlrun/mlrun

MLRun est une plateforme MLOps open source pour construire et gérer rapidement des applications ML continues tout au long de leur cycle de vie. MLRun s'intègre dans votre environnement de développement et CI/CD et automatise la livraison de données de production, de pipelines ML et d'applications en ligne.

mlrun
⭐ 1,703 Python 👤 mlrun Organization 🕐 Mis à jour 2026-11-20 📅 Créé 2019-09-01
23
ollaya-dev/ollaya

Serveur API compatible avec Jev pour les modèles de décision ouverts. Ollama pour les modèles de décision : téléchargez et exécutez localement 29 familles de modèles (Laya, pplx-decider, Clef, Winnow, coba...), ou hébergez-les vous-même derrière /v1/systemone. Le SDK TypeSafe fonctionne sans modification : définissez son URL de base et choisissez un modèle ouvert. CLI, application de bureau, Docker, serveur MCP et benchmark public.

ollaya-dev
⭐ 1,473 Rust 👤 ollaya-dev Organization 🕐 Mis à jour 2026-11-21 📅 Créé 2026-09-23
24
kitops-ml/kitops

Un outil DevOps open source du CNCF pour empaqueter et versionner des modèles IA/ML, des ensembles de données, du code et des configurations dans un artefact OCI.

kitops-ml
⭐ 1,451 Go 👤 kitops-ml Organization 🕐 Mis à jour 2026-11-20 📅 Créé 2024-02-02
25
alibaba/rtp-llm

RTP-LLM : Le moteur d'inférence LLM haute performance d'Alibaba pour diverses applications.

alibaba
⭐ 1,402 Python 👤 alibaba Organization 🕐 Mis à jour 2026-11-21 📅 Créé 2023-12-27
26
hemingkx/SpeculativeDecodingPapers

📰 Articles et blogs incontournables sur le décodage spéculatif ⚡️

hemingkx
⭐ 1,309 👤 hemingkx User 🕐 Mis à jour 2026-06-27 📅 Créé 2023-09-20
27
logicalclocks/hopsworks

Hopsworks - Plateforme IA intensive en données avec un Feature Store

logicalclocks
⭐ 1,299 Java 👤 logicalclocks Organization 🕐 Mis à jour 2025-02-10 📅 Créé 2018-07-26
28
DataExpert-io/ai-engineer-handbook

Tous les liens, livres et créateurs dont vous avez besoin pour rester à jour avec l’IA !

DataExpert-io
⭐ 1,261 👤 DataExpert-io Organization 🕐 Mis à jour 2026-11-20 📅 Créé 2026-02-16
29
basetenlabs/truss

La façon la plus simple de déployer des modèles IA/ML en production

basetenlabs
⭐ 1,236 Python 👤 basetenlabs Organization 🕐 Mis à jour 2026-11-20 📅 Créé 2022-07-06
30
gpu-mode/awesomeMLSys

Une liste d'intégration de systèmes ML

gpu-mode
⭐ 1,154 👤 gpu-mode Organization 🕐 Mis à jour 2026-02-19 📅 Créé 2024-05-06
31
efeslab/Nanoflow

Un framework de service haute performance axé sur le débit pour les LLM

efeslab
⭐ 978 Jupyter Notebook 👤 efeslab Organization 🕐 Mis à jour 2026-03-29 📅 Créé 2024-08-19
32
openvinotoolkit/model_server

Un serveur d'inférence scalable pour les modèles optimisés avec OpenVINO™

openvinotoolkit
⭐ 961 C++ 👤 openvinotoolkit Organization 🕐 Mis à jour 2026-11-21 📅 Créé 2018-09-26
33
triton-inference-server/tensorrtllm_backend

Le backend Triton TensorRT-LLM

triton-inference-server
⭐ 944 👤 triton-inference-server Organization 🕐 Mis à jour 2026-11-02 📅 Créé 2023-09-12
34
replicate/replicate-python

Client Python pour Replicate

replicate
⭐ 909 Python 👤 replicate Organization 🕐 Mis à jour 2025-08-26 📅 Créé 2022-05-11
35
zhihu/ZhiLight

Un moteur d'accélération d'inférence LLM hautement optimisé pour Llama et ses variantes.

zhihu
⭐ 906 C++ 👤 zhihu Organization 🕐 Mis à jour 2026-03-18 📅 Créé 2024-12-06
36
mosecorg/mosec

Un framework de service de modèle ML haute performance, offre le traitement par lots dynamique et les pipelines CPU/GPU pour exploiter pleinement votre machine de calcul

mosecorg
⭐ 905 Python 👤 mosecorg Organization 🕐 Mis à jour 2026-11-02 📅 Créé 2021-03-13
37
trainindata/deploying-machine-learning-models

Code pour le cours en ligne «Déploiement de Modèles d’Apprentissage Automatique»

trainindata
⭐ 879 Jupyter Notebook 👤 trainindata Organization 🕐 Mis à jour 2024-08-20 📅 Créé 2019-01-09
38
InternLM/Intern-S1

Un modèle fondamental scientifique multimodal

InternLM
⭐ 876 👤 InternLM Organization 🕐 Mis à jour 2026-09-13 📅 Créé 2025-07-25
39
bentoml/Yatai

Déploiement de modèles à grande échelle sur Kubernetes 🦄️

bentoml
⭐ 843 TypeScript 👤 bentoml Organization 🕐 Mis à jour 2026-05-30 📅 Créé 2021-07-30
40
Tejas-TA/predikit

Le lien manquant entre vos modèles de machine learning et vos agents d’IA.

Tejas-TA
⭐ 840 Python 👤 Tejas-TA User 🕐 Mis à jour 2026-10-28 📅 Créé 2026-05-25
41
pegainfer-project/pegainfer

Moteur d'inférence LLM pur Rust + CUDA — pas de PyTorch, compatible OpenAI, sert de Qwen3 à Kimi-K2

pegainfer-project
⭐ 748 Rust 👤 pegainfer-project Organization 🕐 Mis à jour 2026-11-21 📅 Créé 2026-02-17
42
abhishekkrthakur
⭐ 728 Python 👤 abhishekkrthakur User 🕐 Mis à jour 2024-09-14 📅 Créé 2021-10-26
43
ServerlessLLM/ServerlessLLM

Service LLM sans serveur pour tous.

ServerlessLLM
⭐ 720 Python 👤 ServerlessLLM Organization 🕐 Mis à jour 2026-09-04 📅 Créé 2024-01-23
44
kossisoroyce/timber

Ollama pour les modèles ML classiques. Compilateur AOT qui transforme les modèles XGBoost, LightGBM, scikit-learn, CatBoost et ONNX en code d'inférence natif C99. Une commande pour charger, une commande pour servir. 336x plus rapide que l'inférence Python.

kossisoroyce
⭐ 692 Python 👤 kossisoroyce User 🕐 Mis à jour 2026-04-16 📅 Créé 2026-02-27
46
mlfoundations/evalchemy

Évaluations automatiques pour les LLM

mlfoundations
⭐ 617 HTML 👤 mlfoundations Organization 🕐 Mis à jour 2026-11-12 📅 Créé 2024-11-15
47
eightBEC/fastapi-ml-skeleton

Application squelette FastAPI pour servir des modèles d'apprentissage automatique prêts pour la production.

eightBEC
⭐ 601 Python 👤 eightBEC User 🕐 Mis à jour 2026-01-08 📅 Créé 2020-02-15
48
predibase/llm_distillation_playbook

Meilleures pratiques pour la distillation de grands modèles linguistiques.

predibase
⭐ 596 Jupyter Notebook 👤 predibase Organization 🕐 Mis à jour 2024-02-01 📅 Créé 2023-12-06
49
fufankeji/DeepSeek-OCR-Web

Web Studio d'analyse de documents OCR DeepSeek prêt à l'emploi

fufankeji
⭐ 568 TypeScript 👤 fufankeji User 🕐 Mis à jour 2025-10-27 📅 Créé 2025-10-23

Foire aux questions

1

Quel est le dépôt #model-serving le plus populaire sur GitHub ?

Le projet #model-serving open source le mieux classé sur GitHub est vllm-project/vllm, avec 97,302 étoiles. Un moteur d'inférence et de service pour LLM à haut débit et efficace en mémoire

2

Quels langages de programmation sont les plus utilisés dans les dépôts #model-serving ?

Parmi les projets #model-serving les mieux classés sur GitHub, les langages de programmation les plus courants sont Python, Go, Rust, Jupyter Notebook.

3

Comment le classement des dépôts #model-serving est-il calculé ?

Nous suivons 51 dépôts open source actifs associés à #model-serving (500+ étoiles), totalisant 211,758 étoiles, avec une moyenne de 4,152 étoiles par dépôt. Les classements sont mis à jour quotidiennement à partir de l’API GitHub.