Git Stars Git Stars

#llm-inference Dépôts

Découvrez 202 dépôts GitHub open source actifs associés à #llm-inference, cumulant 1,046,424 étoiles au total (soit une moyenne de 5,180 étoiles par projet). Le projet en tête de ce thème est deepseek-ai/DeepSeek-V3, avec 104,417 étoiles.

202
Total des Dépôts
1.0M
Nombre total d'étoiles
5,180
Moyenne d'Étoiles/Dépôt
2
nomic-ai/gpt4all

GPT4All : Exécutez des LLM locaux sur n'importe quel appareil. Open-source et disponible pour un usage commercial.

nomic-ai
⭐ 77,352 C++ 👤 nomic-ai Organization 🕐 Mis à jour 2025-05-27 📅 Créé 2023-03-27
3
oobabooga/textgen

Application de bureau open-source pour les LLM locaux. Texte, vision, appel d'outils, API compatible OpenAI/Anthropic. 100% privé.

oobabooga
⭐ 47,736 Python 👤 oobabooga User 🕐 Mis à jour 2026-08-17 📅 Créé 2022-12-21
4
ray-project/ray

Ray est un moteur de calcul IA. Ray est composé d'un runtime distribué central et d'un ensemble de bibliothèques IA pour accélérer les charges de travail ML.

ray-project
⭐ 44,352 Python 👤 ray-project Organization 🕐 Mis à jour 2026-11-21 📅 Créé 2016-10-25
5
microsoft/BitNet

Framework d'inférence officiel pour les LLM 1 bits

microsoft
⭐ 42,358 C++ 👤 microsoft Organization 🕐 Mis à jour 2026-07-27 📅 Créé 2024-08-05
6
gitleaks/gitleaks

Trouvez des secrets avec Gitleaks 🔑

gitleaks
⭐ 31,234 Go 👤 gitleaks Organization 🕐 Mis à jour 2026-10-28 📅 Créé 2018-01-27
7
QwenLM/Qwen3

Qwen3 est la série de grands modèles linguistiques développée par l'équipe Qwen d'Alibaba Cloud.

QwenLM
⭐ 27,753 Python 👤 QwenLM Organization 🕐 Mis à jour 2026-01-09 📅 Créé 2024-02-05
8
Hannibal046/Awesome-LLM

Awesome-LLM: une liste organisée de grands modèles de langage

Hannibal046
⭐ 27,212 👤 Hannibal046 User 🕐 Mis à jour 2025-07-31 📅 Créé 2023-02-17
9
google-ai-edge/gallery

Une galerie qui présente des cas d'utilisation ML/GenAI sur appareil et permet aux utilisateurs d'essayer et d'utiliser des modèles localement.

google-ai-edge
⭐ 25,398 Kotlin 👤 google-ai-edge Organization 🕐 Mis à jour 2026-11-21 📅 Créé 2025-03-31
10
liguodongiot/llm-action

Ce projet vise à partager les principes techniques et l'expérience pratique liés aux grands modèles (ingénierisation des grands modèles, mise en œuvre pratique des grands modèles).

liguodongiot
⭐ 25,297 HTML 👤 liguodongiot User 🕐 Mis à jour 2026-10-14 📅 Créé 2023-05-23
11
deepseek-ai/DeepSeek-OCR

Contextes de compression optique

deepseek-ai
⭐ 24,180 Python 👤 deepseek-ai Organization 🕐 Mis à jour 2026-01-27 📅 Créé 2025-10-17
12
kvcache-ai/ktransformers

Un cadre flexible pour expérimenter les optimisations d'inférence/de fine-tuning des LLM hétérogènes

kvcache-ai
⭐ 19,687 Python 👤 kvcache-ai Organization 🕐 Mis à jour 2026-11-13 📅 Créé 2024-07-26
13
karpathy/llama2.c

Inférence Llama 2 dans un fichier C pur

karpathy
⭐ 19,062 C 👤 karpathy User 🕐 Mis à jour 2024-08-06 📅 Créé 2023-07-23
14
Stability-AI/StableLM

StableLM : Modèles Linguistiques de Stability AI

Stability-AI
⭐ 15,784 Jupyter Notebook 👤 Stability-AI Organization 🕐 Mis à jour 2024-04-08 📅 Créé 2023-04-19
15
mindverse/Second-Me

Entraînez votre moi IA, amplifiez-vous, reliez le monde

mindverse
⭐ 15,688 Python 👤 mindverse Organization 🕐 Mis à jour 2025-09-30 📅 Créé 2025-03-16
16
Lightning-AI/litgpt

Plus de 20 LLM performants avec des recettes pour pré-entraîner, affiner et déployer à grande échelle.

Lightning-AI
⭐ 13,757 Python 👤 Lightning-AI Organization 🕐 Mis à jour 2026-11-10 📅 Créé 2023-05-04
17
deepseek-ai/FlashMLA

FlashMLA : noyaux d'attention latente multi-têtes efficaces

deepseek-ai
⭐ 13,275 C++ 👤 deepseek-ai Organization 🕐 Mis à jour 2026-10-27 📅 Créé 2025-02-21
18
bentoml/OpenLLM

Exécutez n'importe quel LLM open-source, tel que DeepSeek et Llama, en tant qu'endpoint API compatible avec OpenAI dans le cloud.

bentoml
⭐ 12,610 Python 👤 bentoml Organization 🕐 Mis à jour 2026-11-16 📅 Créé 2023-04-19
19
FareedKhan-dev/kimi-k3-in-c

Un modèle Kimi K3 de 2 780 milliards de paramètres effectuant une inférence sur un seul CPU avec 8,24 Go de RAM. C99 portable : sans BLAS, sans framework, sans GPU.

FareedKhan-dev
⭐ 12,523 C 👤 FareedKhan-dev User 🕐 Mis à jour 2026-11-16 📅 Créé 2026-08-01
20
openvinotoolkit/openvino

OpenVINO™ est un kit d'outils open source pour optimiser et déployer l'inférence IA.

openvinotoolkit
⭐ 11,869 C++ 👤 openvinotoolkit Organization 🕐 Mis à jour 2026-11-21 📅 Créé 2018-10-15
21
mistralai/mistral-inference

Bibliothèque d'inférence officielle pour les modèles Mistral

mistralai
⭐ 10,809 Jupyter Notebook 👤 mistralai Organization 🕐 Mis à jour 2026-04-20 📅 Créé 2023-09-27
22
abetlen/llama-cpp-python

Bindings Python pour llama.cpp

abetlen
⭐ 10,691 Python 👤 abetlen User 🕐 Mis à jour 2026-11-21 📅 Créé 2023-03-23
23
Tiiny-AI/PowerInfer

Service de grands modèles linguistiques à haute vitesse pour le déploiement local

Tiiny-AI
⭐ 9,893 C++ 👤 Tiiny-AI Organization 🕐 Mis à jour 2026-05-11 📅 Créé 2023-12-15
24
bentoml/BentoML

La manière la plus simple de servir des applications et modèles IA - Créez des API d'inférence de modèles, des files d'attente de tâches, des applications LLM, des pipelines multi-modèles et plus encore !

bentoml
⭐ 8,944 Python 👤 bentoml Organization 🕐 Mis à jour 2026-11-17 📅 Créé 2019-04-02
25
ai-dynamo/dynamo

Un cadre de service d'inférence distribué à l'échelle du centre de données

ai-dynamo
⭐ 8,542 Rust 👤 ai-dynamo Organization 🕐 Mis à jour 2026-11-21 📅 Créé 2025-03-03
26
bojieli/ai-infra-book

《Comprendre en profondeur l’infrastructure de l’IA : analyse quantitative et conception de systèmes》 (de Li Bojie), un manuscrit de livre open source : à partir des contraintes matérielles et de l’architecture des modèles, il déduit quantitativement la conception des systèmes d’inférence et d’entraînement des LLM. Comprend le texte intégral, le PDF, des outils de calcul associés et des expériences.

bojieli
⭐ 8,179 Python 👤 bojieli User 🕐 Mis à jour 2026-10-01 📅 Créé 2026-08-22
27
InternLM/lmdeploy

LMDeploy est une boîte à outils pour compresser, déployer et servir les LLM.

InternLM
⭐ 8,153 Python 👤 InternLM Organization 🕐 Mis à jour 2026-11-20 📅 Créé 2023-06-15
28
algorithmicsuperintelligence/openevolve

Implémentation open-source d'AlphaEvolve

algorithmicsuperintelligence
⭐ 7,835 Python 👤 algorithmicsuperintelligence Organization 🕐 Mis à jour 2026-11-20 📅 Créé 2025-05-15
29
drumih/turbo-fieldfare

Inférence de Gemma 4 26B-A4B avec environ 2 Go de RAM sur n'importe quel MacBook de la série M

drumih
⭐ 7,432 Swift 👤 drumih User 🕐 Mis à jour 2026-11-14 📅 Créé 2026-07-17
30
mit-han-lab/streaming-llm

[ICLR 2024] Modèles de Langage Efficaces en Streaming avec des Puits d'Attention

mit-han-lab
⭐ 7,165 Python 👤 mit-han-lab Organization 🕐 Mis à jour 2024-07-11 📅 Créé 2023-09-29
31
katanemo/plano

Plano est un serveur proxy natif IA et un plan de données pour les applications agentiques. Routage intelligent des LLM, observabilité, orchestration des agents et garde-fous pour que vous restiez concentré sur la logique principale de vos agents.

katanemo
⭐ 7,118 Rust 👤 katanemo Organization 🕐 Mis à jour 2026-10-24 📅 Créé 2024-07-09
32
google/gemma.cpp

moteur d'inférence C++ léger et autonome pour les modèles Gemma de Google.

google
⭐ 7,089 C++ 👤 google Organization 🕐 Mis à jour 2026-11-20 📅 Créé 2024-02-13
33
deepseek-ai/DeepSeek-Coder-V2

DeepSeek-Coder-V2 : Briser la barrière des modèles propriétaires en matière d'intelligence du code

deepseek-ai
⭐ 7,030 👤 deepseek-ai Organization 🕐 Mis à jour 2025-11-11 📅 Créé 2024-06-14
34
karminski/one-small-step

Ceci est un simple projet de tutoriel technique科普, axé principalement sur l'explication de concepts et de principes technologiques intéressants et de pointe. Chaque article vise à être lu en 5 minutes.

karminski
⭐ 7,006 Python 👤 karminski User 🕐 Mis à jour 2026-03-08 📅 Créé 2025-01-16
35
flashinfer-ai/flashinfer

FlashInfer: Bibliothèque de Noyaux pour le Service LLM

flashinfer-ai
⭐ 6,982 Cuda 👤 flashinfer-ai Organization 🕐 Mis à jour 2026-11-21 📅 Créé 2023-07-22
36
simplescaling/s1

s1: Mise à l'échelle simple au moment de l'exécution

simplescaling
⭐ 6,656 Python 👤 simplescaling Organization 🕐 Mis à jour 2025-06-25 📅 Créé 2025-02-01
37
lemonade-sdk/lemonade

Lemonade aide les utilisateurs à découvrir et à exécuter des applications d'IA locales en fournissant des LLM optimisés directement depuis leurs propres GPU et NPU. Rejoignez notre Discord : https://discord.gg/5xXzkMu8Zk

lemonade-sdk
⭐ 6,262 C++ 👤 lemonade-sdk Organization 🕐 Mis à jour 2026-11-21 📅 Créé 2025-05-15
38
kserve/kserve

Plateforme d'inférence IA générative et prédictive distribuée standardisée pour un déploiement scalable et multi-framework sur Kubernetes

kserve
⭐ 6,253 Go 👤 kserve Organization 🕐 Mis à jour 2026-11-20 📅 Créé 2019-03-27
39
meta-pytorch/gpt-fast

Génération de texte Transformer simple et efficace, native de pytorch, en moins de 1000 lignes de code Python.

meta-pytorch
⭐ 6,244 Python 👤 meta-pytorch Organization 🕐 Mis à jour 2025-08-22 📅 Créé 2023-10-17
40
cactus-compute/engine

Quantification sur 2 bits, noyaux et environnement d’exécution pour les appareils grand public.

cactus-compute
⭐ 6,200 C++ 👤 cactus-compute Organization 🕐 Mis à jour 2026-11-05 📅 Créé 2025-04-23
41
gpustack/gpustack

Un gestionnaire de cluster GPU pour le service de modèles d'IA haute performance (vLLM, SGLang) et des instances GPU accessibles par SSH à la demande.

gpustack
⭐ 6,097 Python 👤 gpustack Organization 🕐 Mis à jour 2026-11-20 📅 Créé 2024-05-11
42
Michael-A-Kuykendall/shimmy

⚡ Moteur d'inférence WebGPU en Rust pur — Compatible avec l'API OpenAI, natif GGUF, fonctionne sur n'importe quel GPU. Pas de Python. Pas de llama.cpp. Binaire unique.

Michael-A-Kuykendall
⭐ 6,020 Rust 👤 Michael-A-Kuykendall User 🕐 Mis à jour 2026-11-12 📅 Créé 2025-08-28
43
alexzhang13/rlm

Bibliothèque d'inférence plug-and-play générale pour les modèles de langage récursifs (RLM), prenant en charge divers environnements sandbox.

alexzhang13
⭐ 5,776 Python 👤 alexzhang13 User 🕐 Mis à jour 2026-11-21 📅 Créé 2025-12-20
44
sgl-project/mini-sglang

Une implémentation compacte de SGLang, conçue pour démystifier les complexités des systèmes modernes de service de LLM.

sgl-project
⭐ 5,623 Python 👤 sgl-project Organization 🕐 Mis à jour 2026-05-17 📅 Créé 2025-09-01
45
xlite-dev/Awesome-LLM-Inference

📚Une liste organisée d'articles impressionnants sur l'inférence LLM/VLM avec codes : Flash-Attention, Paged-Attention, WINT8/4, Parallélisme, etc.🎉

xlite-dev
⭐ 5,565 Python 👤 xlite-dev Organization 🕐 Mis à jour 2026-10-20 📅 Créé 2023-08-27
46
superduper-io/superduper

Superduper : Framework de bout en bout pour la création d'applications et d'agents IA personnalisés.

superduper-io
⭐ 5,317 Python 👤 superduper-io Organization 🕐 Mis à jour 2025-09-01 📅 Créé 2022-08-30
47
ztxz16/fastllm

fastllm est une bibliothèque d’inférence de grands modèles de langage haute performance, sans dépendance à un backend, qui vous aide à exécuter efficacement des inférences sur la plupart des appareils.

ztxz16
⭐ 5,133 C++ 👤 ztxz16 User 🕐 Mis à jour 2026-11-21 📅 Créé 2023-05-13
48
deepseek-ai/DeepSeek-V2

DeepSeek-V2 : un modèle linguistique Mixture-of-Experts puissant, économique et efficace

deepseek-ai
⭐ 4,988 👤 deepseek-ai Organization 🕐 Mis à jour 2024-09-25 📅 Créé 2024-04-22
49
FellouAI/eko

Eko (Eko Keep Operating) - Créez des flux de travail agentiques prêts pour la production avec le langage naturel - eko.fellou.ai

FellouAI
⭐ 4,963 TypeScript 👤 FellouAI Organization 🕐 Mis à jour 2026-03-03 📅 Créé 2024-11-23
50
ruvnet/RuVector

RuVector fournit une prise de décision et une mémoire d’agents haute performance en temps réel, une IA auto-apprenante et une base de données GNN vectorielle développée en Rust.

ruvnet
⭐ 4,713 Rust 👤 ruvnet User 🕐 Mis à jour 2026-11-21 📅 Créé 2025-11-19

Foire aux questions

1

Quel est le dépôt #llm-inference le plus populaire sur GitHub ?

Le projet #llm-inference open source le mieux classé sur GitHub est deepseek-ai/DeepSeek-V3, avec 104,417 étoiles.

2

Quels langages de programmation sont les plus utilisés dans les dépôts #llm-inference ?

Parmi les projets #llm-inference les mieux classés sur GitHub, les langages de programmation les plus courants sont Python, C++, Rust, Go.

3

Comment le classement des dépôts #llm-inference est-il calculé ?

Nous suivons 202 dépôts open source actifs associés à #llm-inference (500+ étoiles), totalisant 1,046,424 étoiles, avec une moyenne de 5,180 étoiles par dépôt. Les classements sont mis à jour quotidiennement à partir de l’API GitHub.