Git Stars Git Stars

#llm-inference Dépôts

202
Total des Dépôts
1.0M
Nombre total d'étoiles
5,180
Moyenne d'Étoiles/Dépôt
51
turboderp-org/exllamav2

Une bibliothèque d'inférence rapide pour exécuter des LLM localement sur des GPU modernes de classe consommateur

turboderp-org
⭐ 4,653 Python 👤 turboderp-org Organization 🕐 Mis à jour 2026-03-04 📅 Créé 2023-08-30
52
openai/harmony

Rendu pour le format de réponse harmony à utiliser avec gpt-oss

openai
⭐ 4,548 Rust 👤 openai Organization 🕐 Mis à jour 2026-04-08 📅 Créé 2025-07-31
53
CalvinXKY/InfraTech

Partage de connaissances AI Infra et pratique de code : PyTorch, vLLM/SGLang, introduction au framework slime/vime ⚡️, accélération des performances 🚀, bases des grands modèles 🧠, logiciels et matériels IA 🔧, etc.

CalvinXKY
⭐ 4,411 Jupyter Notebook 👤 CalvinXKY User 🕐 Mis à jour 2026-09-20 📅 Créé 2025-11-14
54
algorithmicsuperintelligence/optillm

Optimisation du proxy d'inférence pour les LLM

algorithmicsuperintelligence
⭐ 4,343 Python 👤 algorithmicsuperintelligence Organization 🕐 Mis à jour 2026-11-16 📅 Créé 2024-08-22
55
NVIDIA/GenerativeAIExamples

Flux de travail de référence d'IA générative optimisés pour une architecture de microservices et une infrastructure accélérées.

NVIDIA
⭐ 4,235 Jupyter Notebook 👤 NVIDIA Organization 🕐 Mis à jour 2026-11-06 📅 Créé 2023-10-19
56
raullenchai/Rapid-MLX

Rapid-MLX est un serveur d’inférence LLM open source (Apache 2.0) pour Apple Silicon, compatible avec OpenAI et Anthropic, basé sur MLX et axé sur des appels d’outils fiables pour les agents de programmation. Jusqu’à 4 fois plus rapide que MLX (mlx-lm) d’Apple avec les mêmes poids.

raullenchai
⭐ 4,168 Python 👤 raullenchai User 🕐 Mis à jour 2026-11-21 📅 Créé 2026-02-25
57
predibase/lorax

Serveur d'inférence Multi-LoRA qui évolue vers des milliers de LLM affinés

predibase
⭐ 3,836 Python 👤 predibase Organization 🕐 Mis à jour 2026-05-28 📅 Créé 2023-10-20
58
hemansnation/AI-Engineer-Headquarters

Une collection de méthodes scientifiques, de processus, d'algorithmes et de systèmes pour construire des histoires et des modèles.

hemansnation
⭐ 3,782 Jupyter Notebook 👤 hemansnation User 🕐 Mis à jour 2026-10-28 📅 Créé 2022-03-29
59
amitshekhariitbhu/ai-engineering-interview-questions

Votre fiche de révision pour l'entretien d'embauche en ingénierie IA – Questions et réponses.

amitshekhariitbhu
⭐ 3,707 Markdown 👤 amitshekhariitbhu User 🕐 Mis à jour 2026-11-21 📅 Créé 2026-03-21
60
xjdr-alt/entropix

Échantillonnage basé sur l'entropie et décodage CoT parallèle

xjdr-alt
⭐ 3,434 Python 👤 xjdr-alt User 🕐 Mis à jour 2024-11-13 📅 Créé 2024-10-03
61
ikawrakow/ik_llama.cpp

Fork de llama.cpp avec des quants SOTA supplémentaires et des performances améliorées

ikawrakow
⭐ 3,411 C++ 👤 ikawrakow User 🕐 Mis à jour 2026-11-21 📅 Créé 2024-06-27
63
b4rtaz/distributed-llama

Inférence LLM distribuée. Connectez les appareils domestiques en un cluster puissant pour accélérer l'inférence LLM. Plus d'appareils signifie une inférence plus rapide.

b4rtaz
⭐ 3,141 C++ 👤 b4rtaz User 🕐 Mis à jour 2026-11-17 📅 Créé 2023-12-04
64
mw00/project-maya

Exécutez GLM-5.3 (744B), DeepSeek-V4.1-Flash (748B), MiniMax-M3.1-Flash (428B), GLM-5.3-Flash (321B) et Hy4-Flash (220B) sur vos propres GPU — à partir de 8 Go de VRAM, avec prise en charge de NVIDIA et AMD, un tableau de bord unique et une API compatible avec OpenAI et Anthropic.

mw00
⭐ 3,140 C++ 👤 mw00 User 🕐 Mis à jour 2026-11-21 📅 Créé 2026-10-06
65
spiceai/spiceai

Ajoutez un nœud d'analyse en temps réel à votre base de données opérationnelle. Spice est un moteur portable et accéléré de requêtes SQL, de recherche et d'inférence LLM écrit en Rust pour les applications et agents d'IA basés sur des données.

spiceai
⭐ 3,132 Rust 👤 spiceai Organization 🕐 Mis à jour 2026-11-21 📅 Créé 2021-08-08
66
qwopqwop200/GPTQ-for-LLaMa

Quantification 4 bits de LLaMA avec GPTQ

qwopqwop200
⭐ 3,077 Python 👤 qwopqwop200 User 🕐 Mis à jour 2024-07-13 📅 Créé 2023-03-06
67
luminal-ai/luminal

Inférence à la vitesse de la lumière.

luminal-ai
⭐ 3,064 Rust 👤 luminal-ai Organization 🕐 Mis à jour 2026-11-19 📅 Créé 2023-07-18
69
syv-ai/HyperQwen

Exécutez rapidement de grands modèles Qwen sur les GPU que vous possédez réellement. Qwen3.8-27B sur une seule carte de 24 Go avec vLLM : 127 tok/s pour un seul utilisateur (381 lorsque la réponse cite le prompt), environ 1 035 tok/s avec 64 requêtes simultanées, et un contexte de 150k à 262k. Correctifs vLLM, pipeline de re-quantification et benchmarks.

syv-ai
⭐ 2,778 Python 👤 syv-ai Organization 🕐 Mis à jour 2026-11-10 📅 Créé 2026-08-15
70
youssofal/MTPLX

La manière la plus rapide d’exécuter Qwen 3.8 Flash Next, Qwen 3.8 27B et Ternary Bonsai 2 27B sur un Mac : 125 tokens/s dans OpenCode avec un M5 Max, et un modèle 27B sur les Mac dotés de 16 Go. Décodage spéculatif MTP natif sur Apple Silicon, exact à n’importe quelle température. Serveur local compatible avec OpenAI et Anthropic.

youssofal
⭐ 2,729 Python 👤 youssofal User 🕐 Mis à jour 2026-11-21 📅 Créé 2026-05-02
71
vllm-project/production-stack

Le système de référence de vLLM pour le déploiement natif K8S à l'échelle du cluster avec optimisation des performances dirigée par la communauté

vllm-project
⭐ 2,729 Python 👤 vllm-project Organization 🕐 Mis à jour 2026-11-07 📅 Créé 2025-01-21
72
FasterDecoding/Medusa

Medusa : Un framework simple pour accélérer la génération LLM avec plusieurs têtes de décodage

FasterDecoding
⭐ 2,684 Jupyter Notebook 👤 FasterDecoding Organization 🕐 Mis à jour 2024-06-25 📅 Créé 2023-09-10
73
mirage-project/mirage

Mirage Persistent Kernel : Compilation de LLM dans un MegaKernel

mirage-project
⭐ 2,625 Cuda 👤 mirage-project Organization 🕐 Mis à jour 2026-11-21 📅 Créé 2024-05-08
74
incoai/splash

Un moteur d’inférence local pour Apple Silicon, conçu autour du modèle.

incoai
⭐ 2,591 C++ 👤 incoai Organization 🕐 Mis à jour 2026-11-17 📅 Créé 2026-09-18
75
Nano-Collective/nanocoder

Un agent de programmation open source pour votre terminal, créé par un collectif communautaire plutôt que par une entreprise. Utilisez votre propre modèle, gardez votre code sur votre machine et ne devez rien à personne.

Nano-Collective
⭐ 2,582 TypeScript 👤 Nano-Collective Organization 🕐 Mis à jour 2026-11-21 📅 Créé 2025-07-30
76
SafeAILab/EAGLE

Implémentation officielle de EAGLE-1 (ICML'24), EAGLE-2 (EMNLP'24) et EAGLE-3 (NeurIPS'25).

SafeAILab
⭐ 2,581 Python 👤 SafeAILab Organization 🕐 Mis à jour 2026-02-20 📅 Créé 2023-12-07
77
databricks/dbrx

Exemples de code et ressources pour DBRX, un grand modèle de langage développé par Databricks

databricks
⭐ 2,578 Python 👤 databricks Organization 🕐 Mis à jour 2024-05-01 📅 Créé 2024-03-26
78
Jittor/JittorLLMs

La bibliothèque d'inférence de grand modèle Jito se caractérise par ses hautes performances, ses faibles exigences de configuration, sa bonne prise en charge du chinois et sa portabilité.

Jittor
⭐ 2,419 Python 👤 Jittor User 🕐 Mis à jour 2025-02-22 📅 Créé 2023-04-02
79
ashhart/TensorFold

Moteur d’inférence de LLM pour Metal, CUDA et Vulkan.

ashhart
⭐ 2,364 Zig 👤 ashhart User 🕐 Mis à jour 2026-11-21 📅 Créé 2026-06-19
80
datawhalechina/zero-to-sglang

Cours officiel SGLang x Datawhale sur l’inférence des LLM : comprenez l’inférence, construisez un mini-SGLang depuis zéro, puis lisez le véritable code source de SGLang et soumettez votre première PR. Disponible en anglais et en chinois.

datawhalechina
⭐ 2,306 Python 👤 datawhalechina Organization 🕐 Mis à jour 2026-11-17 📅 Créé 2026-08-27
82
cfregly/ai-performance-engineering

Code, laboratoires et ressources pour O'Reilly AI Systems Performance Engineering : optimisation GPU, entraînement distribué, mise à l'échelle de l'inférence et réglage full-stack.

cfregly
⭐ 2,233 Python 👤 cfregly User 🕐 Mis à jour 2026-11-19 📅 Créé 2025-04-21
83
neuron-core/neuron-ai

Le framework d'agents de l'écosystème PHP pour créer des applications pilotées par l'IA prêtes pour la production. Connectez des composants (LLM, outils, bases de données vectorielles, mémoire) à des agents qui interagissent avec vos données et votre interface utilisateur.

neuron-core
⭐ 2,179 PHP 👤 neuron-core Organization 🕐 Mis à jour 2026-11-20 📅 Créé 2025-03-02
84
pallavi-shekhar/ai-engineering-interview-questions-company-wise

Votre aide-mémoire pour les entretiens d’ingénierie en IA dans les grandes entreprises d’IA : questions et réponses.

pallavi-shekhar
⭐ 2,098 Markdown 👤 pallavi-shekhar User 🕐 Mis à jour 2026-11-21 📅 Créé 2026-09-19
85
microsoft/aici

AICI : Prompts en tant que programmes (Wasm)

microsoft
⭐ 2,077 Rust 👤 microsoft Organization 🕐 Mis à jour 2025-01-22 📅 Créé 2023-09-26
86
SemiAnalysisAI/InferenceX

Plateforme de recherche en inférence open source

SemiAnalysisAI
⭐ 2,074 Python 👤 SemiAnalysisAI Organization 🕐 Mis à jour 2026-11-21 📅 Créé 2025-07-12
87
ovg-project/kvcached

Cache KV élastique virtualisé pour le partage dynamique de GPU et au-delà

ovg-project
⭐ 2,051 Python 👤 ovg-project Organization 🕐 Mis à jour 2026-11-20 📅 Créé 2025-05-27
88
AtomicBot-ai/Atomic-Chat

Application d'IA locale et moteur d'inférence pour agents. Exécutez des LLM à poids ouverts localement — privé, 100 % hors ligne sur votre ordinateur. Rejoignez notre Discord : https://discord.com/invite/8wGSsvmg4V

AtomicBot-ai
⭐ 2,040 TypeScript 👤 AtomicBot-ai Organization 🕐 Mis à jour 2026-11-19 📅 Créé 2026-03-31
89
kimjammer/Neuro

Une recréation de Neuro-Sama créée à l'origine en 7 jours.

kimjammer
⭐ 1,960 Python 👤 kimjammer User 🕐 Mis à jour 2025-01-17 📅 Créé 2024-01-07
90
liltom-eth/llama2-webui

Exécutez n'importe quel Llama 2 localement avec l'interface utilisateur Gradio sur GPU ou CPU depuis n'importe où (Linux/Windows/Mac). Utilisez `llama2-wrapper` comme backend llama2 local pour les agents/applications génératifs.

liltom-eth
⭐ 1,954 Jupyter Notebook 👤 liltom-eth User 🕐 Mis à jour 2024-03-22 📅 Créé 2023-07-20
91
tile-ai/TileRT

Runtime basé sur des tuiles pour l'inférence LLM à latence ultra-faible

tile-ai
⭐ 1,906 Python 👤 tile-ai Organization 🕐 Mis à jour 2026-09-24 📅 Créé 2025-11-12
92
XiongjieDai/GPU-Benchmarks-on-LLM-Inference

Plusieurs GPU NVIDIA ou Apple Silicon pour l'inférence de grands modèles linguistiques ?

XiongjieDai
⭐ 1,862 Jupyter Notebook 👤 XiongjieDai User 🕐 Mis à jour 2024-05-13 📅 Créé 2023-07-19
93
beam-cloud/beta9

Inférence GPU serverless ultra-rapide, sandboxes et tâches d'arrière-plan

beam-cloud
⭐ 1,858 Go 👤 beam-cloud Organization 🕐 Mis à jour 2026-11-20 📅 Créé 2023-11-15
94
turboderp-org/exllamav3

Une bibliothèque optimisée de quantification et d'inférence pour exécuter localement des LLM sur des GPU grand public modernes

turboderp-org
⭐ 1,853 Python 👤 turboderp-org Organization 🕐 Mis à jour 2026-11-19 📅 Créé 2025-04-06
95
vllm-project/guidellm

Évaluez et améliorez vos déploiements LLM pour les besoins d'inférence dans le monde réel

vllm-project
⭐ 1,800 Python 👤 vllm-project Organization 🕐 Mis à jour 2026-11-21 📅 Créé 2024-05-29
96
software-mansion/react-native-executorch

Bibliothèque d'inférence d'IA sur l'appareil pour React Native, haute performance et axée sur la confidentialité, propulsée par le runtime ExecuTorch de PyTorch

software-mansion
⭐ 1,794 TypeScript 👤 software-mansion Organization 🕐 Mis à jour 2026-11-20 📅 Créé 2024-10-16
97
janhq/awesome-local-ai

Un incroyable dépôt d'outils d'IA locaux

janhq
⭐ 1,791 👤 janhq Organization 🕐 Mis à jour 2024-11-13 📅 Créé 2023-09-06
99
LlamaEdge/LlamaEdge

Le moyen le plus simple et le plus rapide d'exécuter des LLM personnalisés et affinés localement ou en périphérie

LlamaEdge
⭐ 1,665 Rust 👤 LlamaEdge Organization 🕐 Mis à jour 2026-02-08 📅 Créé 2023-10-09
100
Nutlope/turboseek

Un moteur de recherche IA inspiré par Perplexity

Nutlope
⭐ 1,660 TypeScript 👤 Nutlope User 🕐 Mis à jour 2026-10-23 📅 Créé 2024-05-26