Git Stars Git Stars

#inference Dépôts

Découvrez 144 dépôts GitHub open source actifs associés à #inference, cumulant 870,238 étoiles au total (soit une moyenne de 6,043 étoiles par projet). Le projet en tête de ce thème est vllm-project/vllm, avec 97,302 étoiles.

144
Total des Dépôts
870,238
Nombre total d'étoiles
6,043
Moyenne d'Étoiles/Dépôt
1
vllm-project/vllm

Un moteur d'inférence et de service pour LLM à haut débit et efficace en mémoire

vllm-project
⭐ 97,302 Python 👤 vllm-project Organization 🕐 Mis à jour 2026-11-21 📅 Créé 2023-02-09
2
ultralytics/yolov5

Ultralytics YOLOv5 dans PyTorch pour la détection d'objets, la segmentation d'instances, la classification, l'entraînement et l'exportation.

ultralytics
⭐ 58,290 Python 👤 ultralytics Organization 🕐 Mis à jour 2026-11-16 📅 Créé 2020-05-18
3
ggml-org/whisper.cpp

Portage du modèle Whisper d'OpenAI en C/C++

ggml-org
⭐ 55,392 C++ 👤 ggml-org Organization 🕐 Mis à jour 2026-11-20 📅 Créé 2022-09-25
4
deepspeedai/DeepSpeed

DeepSpeed est une bibliothèque d'optimisation pour l'apprentissage profond qui rend l'entraînement distribué et l'inférence simples, efficaces et performants.

deepspeedai
⭐ 43,348 Python 👤 deepspeedai Organization 🕐 Mis à jour 2026-11-21 📅 Créé 2020-01-23
5
hpcaitech/ColossalAI

Rendre les grands modèles d'IA moins chers, plus rapides et plus accessibles

hpcaitech
⭐ 41,421 Python 👤 hpcaitech Organization 🕐 Mis à jour 2026-11-19 📅 Créé 2021-10-28
6
sgl-project/sglang

SGLang est un framework de service haute performance pour les grands modèles linguistiques et les modèles multimodaux.

sgl-project
⭐ 38,899 Python 👤 sgl-project Organization 🕐 Mis à jour 2026-11-21 📅 Créé 2024-01-08
7
google-ai-edge/mediapipe

Solutions ML multiplateformes et personnalisables pour les médias en direct et en streaming.

google-ai-edge
⭐ 37,769 C++ 👤 google-ai-edge Organization 🕐 Mis à jour 2026-11-21 📅 Créé 2019-06-13
8
SYSTRAN/faster-whisper

Transcription Whisper plus rapide avec CTranslate2

SYSTRAN
⭐ 26,924 Python 👤 SYSTRAN Organization 🕐 Mis à jour 2026-11-12 📅 Créé 2023-02-11
9
Tencent/ncnn

ncnn est un framework d'inférence de réseaux de neurones haute performance optimisé pour les plateformes mobiles

Tencent
⭐ 24,082 C++ 👤 Tencent Organization 🕐 Mis à jour 2026-11-21 📅 Créé 2017-06-30
10
stas00/ml-engineering

Livre ouvert d'ingénierie du Machine Learning

stas00
⭐ 19,738 Python 👤 stas00 User 🕐 Mis à jour 2026-11-20 📅 Créé 2020-09-02
11
FlashML-org/FreeToken

FreeToken apporte le déploiement de modèles à l'échelle des centres de données sur votre bureau. Exécutez des modèles massifs localement, rapidement et efficacement.

FlashML-org
⭐ 17,522 Python 👤 FlashML-org User 🕐 Mis à jour 2026-11-21 📅 Créé 2026-07-20
⭐ 16,519 Python 👤 GeeeekExplorer User 🕐 Mis à jour 2026-04-26 📅 Créé 2025-06-09
13
gvergnaud/ts-pattern

🎨 La bibliothèque complète de correspondance de motifs pour TypeScript, avec une inférence de type intelligente.

gvergnaud
⭐ 15,224 TypeScript 👤 gvergnaud User 🕐 Mis à jour 2026-11-20 📅 Créé 2020-05-24
14
NVIDIA/TensorRT

NVIDIA® TensorRT™ est un SDK pour l'inférence en apprentissage profond haute performance sur les GPU NVIDIA. Ce dépôt contient les composants open source de TensorRT.

NVIDIA
⭐ 13,475 C++ 👤 NVIDIA Organization 🕐 Mis à jour 2026-11-18 📅 Créé 2019-05-02
15
LMCache/LMCache

LMCache : Boostez votre LLM avec la couche de cache KV la plus rapide

LMCache
⭐ 12,405 Python 👤 LMCache Organization 🕐 Mis à jour 2026-11-21 📅 Créé 2024-05-28
16
openvinotoolkit/openvino

OpenVINO™ est un kit d'outils open source pour optimiser et déployer l'inférence IA.

openvinotoolkit
⭐ 11,869 C++ 👤 openvinotoolkit Organization 🕐 Mis à jour 2026-11-21 📅 Créé 2018-10-15
17
triton-inference-server/server

Le serveur d'inférence Triton fournit une solution d'inférence optimisée pour le cloud et l'edge.

triton-inference-server
⭐ 11,156 Python 👤 triton-inference-server Organization 🕐 Mis à jour 2026-11-20 📅 Créé 2018-10-04
18
aws/amazon-sagemaker-examples

Exemples de carnets Jupyter 📓 démontrant comment construire, entraîner et déployer des modèles d'apprentissage automatique en utilisant 🧠 Amazon SageMaker.

aws
⭐ 11,020 Jupyter Notebook 👤 aws Organization 🕐 Mis à jour 2026-10-14 📅 Créé 2017-10-23
19
huggingface/text-generation-inference

Inférence de génération de texte de grands modèles linguistiques

huggingface
⭐ 10,812 Python 👤 huggingface Organization 🕐 Mis à jour 2026-01-08 📅 Créé 2022-10-08
20
ultralytics/yolov3

Implémentation PyTorch de YOLOv3, YOLOv3-SPP et YOLOv3-tiny pour la détection d'objets en temps réel avec entraînement, validation, inférence et exportation multi-format.

ultralytics
⭐ 10,647 Python 👤 ultralytics Organization 🕐 Mis à jour 2026-11-07 📅 Créé 2018-08-26
21
RunanywhereAI/runanywhere-sdks

Boîte à outils prête pour la production pour exécuter l'IA localement

RunanywhereAI
⭐ 10,354 C++ 👤 RunanywhereAI Organization 🕐 Mis à jour 2026-11-10 📅 Créé 2025-07-22
22
xorbitsai/inference

Plateforme d’inférence open source pour les modèles de langage, de vision, d’embeddings, de reclassement, d’image, d’audio et de vidéo. Déployez plusieurs moteurs sur du matériel hétérogène, d’un ordinateur portable à un cluster distribué. Servez des modèles via des API compatibles avec OpenAI.

xorbitsai
⭐ 9,667 Python 👤 xorbitsai Organization 🕐 Mis à jour 2026-11-21 📅 Créé 2023-06-14
23
oumi-ai/oumi

Affinez facilement (SFT/RL), évaluez et déployez Qwen, Gemma ou tout LLM/VLM agentique open source !

oumi-ai
⭐ 9,441 Python 👤 oumi-ai Organization 🕐 Mis à jour 2026-11-21 📅 Créé 2024-05-07
24
dusty-nv/jetson-inference

Guide Hello AI World pour déployer des réseaux d'inférence deep-learning et des primitives de vision profonde avec TensorRT et NVIDIA Jetson.

dusty-nv
⭐ 9,015 C++ 👤 dusty-nv User 🕐 Mis à jour 2025-10-16 📅 Créé 2016-07-30
25
vllm-project/vllm-omni

Un cadre pour l'inférence de modèle efficace avec des modèles d'omni-modalité

vllm-project
⭐ 7,884 Python 👤 vllm-project Organization 🕐 Mis à jour 2026-11-21 📅 Créé 2025-09-11
26
Human-Agent-Society/reef

Infrastructure pour des agents qui s’améliorent continuellement

Human-Agent-Society
⭐ 7,652 Python 👤 Human-Agent-Society Organization 🕐 Mis à jour 2026-11-21 📅 Créé 2026-08-31
27
mizorewww/laya-mlx

Runtime MLX natif pour les modèles de décision typés de Laya — décisions courtes en 7 à 14 ms sur un M3 Max. Aucune génération de texte, aucun recours à PyTorch ni à une API cloud.

mizorewww
⭐ 7,115 Python 👤 mizorewww User 🕐 Mis à jour 2026-11-21 📅 Créé 2026-09-19
28
kvcache-ai/Mooncake

Mooncake est la plateforme de service pour Kimi, un service LLM leader fourni par Moonshot AI.

kvcache-ai
⭐ 7,100 C++ 👤 kvcache-ai Organization 🕐 Mis à jour 2026-11-21 📅 Créé 2024-06-25
29
gcanti/io-ts

Système de types d'exécution pour le décodage/encodage d'E/S

gcanti
⭐ 6,812 TypeScript 👤 gcanti User 🕐 Mis à jour 2024-12-10 📅 Créé 2017-01-28
30
vllm-project/semantic-router

Une couche de décision ouverte et programmable pour les modèles et le calcul.

vllm-project
⭐ 6,514 Go 👤 vllm-project Organization 🕐 Mis à jour 2026-11-21 📅 Créé 2025-08-26
31
argmaxinc/argmax-oss-swift

IA Vocale Intégrée pour Apple Silicon

argmaxinc
⭐ 6,471 Swift 👤 argmaxinc Organization 🕐 Mis à jour 2026-10-27 📅 Créé 2024-01-26
32
Trusted-AI/adversarial-robustness-toolbox

Boîte à outils de Robustesse Adversariale (ART) - Bibliothèque Python pour la Sécurité en Apprentissage Automatique - Évasion, Empoisonnement, Extraction, Inférence - Équipes Rouge et Bleue

Trusted-AI
⭐ 6,322 Python 👤 Trusted-AI Organization 🕐 Mis à jour 2026-11-13 📅 Créé 2018-03-15
33
gpustack/gpustack

Un gestionnaire de cluster GPU pour le service de modèles d'IA haute performance (vLLM, SGLang) et des instances GPU accessibles par SSH à la demande.

gpustack
⭐ 6,097 Python 👤 gpustack Organization 🕐 Mis à jour 2026-11-20 📅 Créé 2024-05-11
34
llm-d/llm-d

Des performances d’inférence de pointe avec des accélérateurs modernes sur Kubernetes

llm-d
⭐ 5,325 Python 👤 llm-d Organization 🕐 Mis à jour 2026-11-21 📅 Créé 2025-04-29
35
superduper-io/superduper

Superduper : Framework de bout en bout pour la création d'applications et d'agents IA personnalisés.

superduper-io
⭐ 5,317 Python 👤 superduper-io Organization 🕐 Mis à jour 2025-09-01 📅 Créé 2022-08-30
36
tencentmusic/cube-studio

cube studio Plateforme IA Open-Source Cloud Native Tout-en-un pour Machine Learning/Deep Learning/Grands Modèles, Flux complet du pipeline d'algorithmes MLOps, Plateforme de location de puissance de calcul, Développement en ligne Notebook, Orchestration de pipeline de flux de tâches par glisser-déposer, Entraînement distribué multi-machines multi-GPU, Recherche d'hyperparamètres, Virtualisation VGPU du service d'inférence, Edge Computing, Annotation automatisée de la plateforme d'annotation, Ajustement fin SFT de grands modèles/Modèle de récompense/Entraînement par apprentissage par renforcement de Deepseek, Inférence multi-machines de grands modèles tels que vLLM/Ollama/MindSpore, Base de connaissances privée, Marché de modèles IA, Support pour l'écosystème CPU/GPU/NPU Ascend domestiques, Support RDMA, Support pour les frameworks distribués tels que PyTorch/TF/MXNet/DeepSpeed/Paddle/ColossalAI/Horovod/Ray/Volcano

tencentmusic
⭐ 5,085 👤 tencentmusic Organization 🕐 Mis à jour 2026-10-09 📅 Créé 2021-08-17
37
NVIDIA-AI-IOT/torch2trt

Un convertisseur PyTorch vers TensorRT facile à utiliser

NVIDIA-AI-IOT
⭐ 4,840 Python 👤 NVIDIA-AI-IOT Organization 🕐 Mis à jour 2024-08-17 📅 Créé 2019-04-27
38
hao-ai-lab/FastVideo

Un framework unifié d'inférence et de post-entraînement pour la génération vidéo accélérée.

hao-ai-lab
⭐ 4,833 Python 👤 hao-ai-lab Organization 🕐 Mis à jour 2026-11-20 📅 Créé 2024-10-24
39
OpenNMT/CTranslate2

Moteur d'inférence rapide pour les modèles Transformer

OpenNMT
⭐ 4,758 C++ 👤 OpenNMT Organization 🕐 Mis à jour 2026-11-21 📅 Créé 2019-09-23
40
Tencent/TNN

TNN : développé par Tencent Youtu Lab et Guangying Lab, un framework d'inférence d'apprentissage profond unifié pour mobile, bureau et serveur. TNN se distingue par plusieurs caractéristiques exceptionnelles, notamment sa capacité multiplateforme, ses hautes performances, la compression des modèles et l'élagage du code. Basé sur ncnn et Rapidnet, TNN renforce davantage le support et l'optimisation des performances pour les appareils mobiles, et tire également parti des avantages d'une bonne extensibilité et de hautes performances des efforts open source existants.

Tencent
⭐ 4,635 C++ 👤 Tencent Organization 🕐 Mis à jour 2025-05-09 📅 Créé 2020-05-29
41
typedb/typedb

TypeDB : Conçu pour les systèmes, et non pour les enregistrements

typedb
⭐ 4,524 Rust 👤 typedb Organization 🕐 Mis à jour 2026-11-19 📅 Créé 2016-07-11
42
openvinotoolkit/open_model_zoo

Modèles et démos d'apprentissage profond pré-entraînés (haute qualité et extrêmement rapides)

openvinotoolkit
⭐ 4,440 Python 👤 openvinotoolkit Organization 🕐 Mis à jour 2026-11-16 📅 Créé 2018-10-15
43
zml/zml

N'importe quel modèle. N'importe quel matériel. Zéro compromis. Construit avec @ziglang / @openxla / MLIR / @bazelbuild

zml
⭐ 4,292 Zig 👤 zml Organization 🕐 Mis à jour 2026-11-20 📅 Créé 2024-09-17
44
uxlfoundation/oneDNN

Bibliothèque open source d’opérations optimisées d’apprentissage profond (multiplication de matrices, convolution et attention) pour les processeurs (x64, AArch64, RISC-V) et les GPU Intel. Utilisée par PyTorch, TensorFlow, OpenVINO et ONNX Runtime.

uxlfoundation
⭐ 4,094 C++ 👤 uxlfoundation Organization 🕐 Mis à jour 2026-11-21 📅 Créé 2016-05-09
45
OpenCSGs/csghub

CSGHub est une toute nouvelle plateforme open-source pour la gestion des LLM, développée par l'équipe OpenCSG. Elle propose des solutions open-source et sur site/SaaS, avec des fonctionnalités comparables à celles de Hugging Face. Prenez le contrôle total du cycle de vie des LLM, des ensembles de données et des agents, avec une compatibilité SDK Python avec Hugging Face. Rejoignez-nous ! ⭐️

OpenCSGs
⭐ 4,083 Vue 👤 OpenCSGs Organization 🕐 Mis à jour 2026-11-13 📅 Créé 2024-01-12
46
FlashML-org/FreeVideo

Créez des vidéos sur l’ordinateur que vous possédez déjà. FreeVideo exécute MiniMax H3 avec seulement 8 Go de VRAM et 16 Go de RAM, et adapte son parcours d’accélération à votre matériel.

FlashML-org
⭐ 4,049 Python 👤 FlashML-org User 🕐 Mis à jour 2026-11-20 📅 Créé 2026-09-13
47
PaddlePaddle/FastDeploy

Kit d'outils d'inférence et de déploiement haute performance pour LLM et VLM basé sur PaddlePaddle

PaddlePaddle
⭐ 3,722 Python 👤 PaddlePaddle Organization 🕐 Mis à jour 2026-09-24 📅 Créé 2022-06-27
48
superlinked/sie

Serveur d'inférence open source et cluster de production pour tous les modèles dont votre agent a besoin.

superlinked
⭐ 3,534 Python 👤 superlinked Organization 🕐 Mis à jour 2026-11-20 📅 Créé 2023-11-07
49
huggingface/optimum

Accélérez l'inférence et l'entraînement de 🤗 Transformers, Diffusers, TIMM et Sentence Transformers avec des outils d'optimisation matérielle faciles à utiliser

huggingface
⭐ 3,525 Python 👤 huggingface Organization 🕐 Mis à jour 2026-11-16 📅 Créé 2021-07-20
50
zjhellofss/KuiperInfer

Excellent projet pour le recrutement universitaire, les campagnes d'automne, les campagnes de printemps et les stages ! Nous vous guiderons pas à pas dans l'implémentation d'une bibliothèque d'inférence d'apprentissage profond haute performance, prenant en charge l'inférence de grands modèles tels que llama2, Unet, YoloV5, Resnet, etc. Implémentez pas à pas une bibliothèque d'inférence d'apprentissage profond haute performance.

zjhellofss
⭐ 3,444 C++ 👤 zjhellofss User 🕐 Mis à jour 2025-06-22 📅 Créé 2022-11-21

Foire aux questions

1

Quel est le dépôt #inference le plus populaire sur GitHub ?

Le projet #inference open source le mieux classé sur GitHub est vllm-project/vllm, avec 97,302 étoiles. Un moteur d'inférence et de service pour LLM à haut débit et efficace en mémoire

2

Quels langages de programmation sont les plus utilisés dans les dépôts #inference ?

Parmi les projets #inference les mieux classés sur GitHub, les langages de programmation les plus courants sont Python, C++, TypeScript, Jupyter Notebook.

3

Comment le classement des dépôts #inference est-il calculé ?

Nous suivons 144 dépôts open source actifs associés à #inference (500+ étoiles), totalisant 870,238 étoiles, avec une moyenne de 6,043 étoiles par dépôt. Les classements sont mis à jour quotidiennement à partir de l’API GitHub.