Git Stars Git Stars

#llm-inference Dépôts

202
Total des Dépôts
1.0M
Nombre total d'étoiles
5,180
Moyenne d'Étoiles/Dépôt
151
nace-ai/kapitsa

Moteur d’inférence ultra-rapide pour Apple Silicon, optimisé pour Qwen et Nemotron. Compatible avec les API d’OpenAI et d’Anthropic. Créé par l’équipe de nace.ai

nace-ai
⭐ 840 C++ 👤 nace-ai Organization 🕐 Mis à jour 2026-11-21 📅 Créé 2026-10-16
152
warpfront/hipfire

Moteur d'inférence LLM natif RDNA en Rust.

warpfront
⭐ 826 Rust 👤 warpfront Organization 🕐 Mis à jour 2026-11-21 📅 Créé 2026-03-21
153
mukel/llama3.java

Inférence Llama 3+ en Java pur

mukel
⭐ 818 Java 👤 mukel User 🕐 Mis à jour 2026-04-24 📅 Créé 2024-04-25
154
vince-lam/awesome-local-llms

Comparez les projets LLM locaux open source compatibles selon leurs métriques pour évaluer leur popularité et leur activité.

vince-lam
⭐ 816 Python 👤 vince-lam User 🕐 Mis à jour 2026-11-16 📅 Créé 2024-02-29
155
ARahim3/kaggle-tpu-lab

Modèles ouverts de niveau frontière sur un TPU v5e-8 gratuit de Kaggle : GLM-5.3-Flash 320B MoE (~165 tok/s, avec notre propre moteur JAX) et Qwen3.8-27B bf16 (~130 tok/s), contexte de 262k et mise en cache des préfixes. Compatible avec Claude Code, Codex, opencode et pi.

ARahim3
⭐ 812 Python 👤 ARahim3 User 🕐 Mis à jour 2026-10-06 📅 Créé 2026-08-31
156
tetherto/qvac

SDK d’IA locale open source : exécutez l’IA sur l’appareil, sans cloud ni clés API. Prend en charge GGUF, RAG, la génération d’images, de musique et de vidéos, la conversion de la parole en texte, l’inférence P2P et bien plus encore. Multiplateforme : Linux, macOS, Windows, Android et iOS.

tetherto
⭐ 806 TypeScript 👤 tetherto Organization 🕐 Mis à jour 2026-11-21 📅 Créé 2026-01-03
157
SimpleBerry/LLaMA-O1

Grands modèles de raisonnement

SimpleBerry
⭐ 806 Python 👤 SimpleBerry Organization 🕐 Mis à jour 2024-12-03 📅 Créé 2024-10-10
158
D-Keqi/mtla

MTLA: Multi-head Temporal Latent Attention

D-Keqi
⭐ 761 Python 👤 D-Keqi User 🕐 Mis à jour 2025-10-06 📅 Créé 2025-05-19
159
microsoft/BitBLAS

BitBLAS est une bibliothèque pour prendre en charge les multiplications matricielles à précision mixte, en particulier pour le déploiement de LLM quantifiés.

microsoft
⭐ 751 Python 👤 microsoft Organization 🕐 Mis à jour 2025-08-06 📅 Créé 2024-02-23
160
pegainfer-project/pegainfer

Moteur d'inférence LLM pur Rust + CUDA — pas de PyTorch, compatible OpenAI, sert de Qwen3 à Kimi-K2

pegainfer-project
⭐ 748 Rust 👤 pegainfer-project Organization 🕐 Mis à jour 2026-11-21 📅 Créé 2026-02-17
161
ARahim3/mlx-dspark

Décodage des LLM jusqu’à 4× plus rapide sur Apple Silicon, sans perte. Portage MLX natif du décodage spéculatif DSpark de DeepSeek et DFlash de z-lab — Gemma-4, Qwen3.8, Muse-Glimmer, Nemotron, LFM2.5, Ornith-1.0 et Bonsai-27B ternaire.

ARahim3
⭐ 743 Python 👤 ARahim3 User 🕐 Mis à jour 2026-11-08 📅 Créé 2026-06-29
162
Avarok-Cybersecurity/atlas

Moteur d'inférence pur en Rust

Avarok-Cybersecurity
⭐ 737 Rust 👤 Avarok-Cybersecurity Organization 🕐 Mis à jour 2026-11-16 📅 Créé 2026-05-05
163
ghimiresunil/LLM-PowerHouse-A-Curated-Guide-for-Large-Language-Models-with-Custom-Training-and-Inferencing

LLM-PowerHouse : Libérez le potentiel des LLM grâce à des tutoriels organisés, des meilleures pratiques et du code prêt à l'emploi pour l'entraînement personnalisé et l'inférence.

ghimiresunil
⭐ 734 Jupyter Notebook 👤 ghimiresunil User 🕐 Mis à jour 2026-03-13 📅 Créé 2023-05-28
164
stoyan-stoyanov/llmflows

LLMFlows – Applications LLM simples, explicites et transparentes

stoyan-stoyanov
⭐ 706 Python 👤 stoyan-stoyanov User 🕐 Mis à jour 2025-02-20 📅 Créé 2023-06-26
165
feifeibear/long-context-attention

USP : Attention Séquentielle Unifiée (a.k.a. Hybride, 2D) pour l'Entraînement et l'Inférence de Modèles Transformer à Contexte Long

feifeibear
⭐ 697 Python 👤 feifeibear User 🕐 Mis à jour 2026-09-16 📅 Créé 2024-03-27
167
MDK8888/GPTFast

Accélérez vos Transformers Hugging Face de 7,6 à 9 fois. Natif pour Hugging Face et PyTorch.

MDK8888
⭐ 687 Python 👤 MDK8888 User 🕐 Mis à jour 2024-08-22 📅 Créé 2024-02-18
168
google-deepmind/recurrentgemma

Modèle linguistique à poids ouverts de Google DeepMind, basé sur Griffin.

google-deepmind
⭐ 686 Python 👤 google-deepmind Organization 🕐 Mis à jour 2026-02-06 📅 Créé 2024-03-25
169
carloslfu/slotstream

Exécutez un modèle d’IA de 105 Go sur un Mac qui ne peut pas le stocker. Qwen3.8-Flash-Next en 4 bits, chargé en continu depuis un SSD sur les Mac Apple Silicon dotés de 16 à 64 Go de mémoire. Entièrement natif en Swift, MLX et Metal. Hors ligne, sans Python. CLI, bibliothèque Swift et API Ollama/OpenAI/Anthropic. Compatible avec Claude Code et Codex.

carloslfu
⭐ 674 Swift 👤 carloslfu User 🕐 Mis à jour 2026-11-17 📅 Créé 2026-08-28
170
run-ai/genv

Environnement GPU et gestion de cluster avec prise en charge LLM

run-ai
⭐ 657 Python 👤 run-ai Organization 🕐 Mis à jour 2024-05-16 📅 Créé 2022-09-04
172
NightMean/OlliteRT

Transformez votre téléphone Android en un serveur d’inférence LLM compatible avec OpenAI — entièrement local, privé et open source

NightMean
⭐ 645 Kotlin 👤 NightMean User 🕐 Mis à jour 2026-11-07 📅 Créé 2026-04-06
173
NotPunchnox/rkllama

Alternative Ollama pour Rockchip NPU : Une solution efficace pour exécuter des modèles d'IA et d'apprentissage profond sur des appareils Rockchip avec un support optimisé du NPU (rkllm)

NotPunchnox
⭐ 631 Python 👤 NotPunchnox User 🕐 Mis à jour 2026-10-28 📅 Créé 2024-12-30
174
sixgpt/miner

Mineur Officiel pour SixGPT

sixgpt
⭐ 611 Shell 👤 sixgpt Organization 🕐 Mis à jour 2024-12-19 📅 Créé 2024-10-06
175
felladrin/MiniSearch

Plateforme de recherche web minimaliste avec un assistant IA qui s'exécute directement depuis votre navigateur. Démo : https://felladrin-minisearch.hf.space

felladrin
⭐ 611 TypeScript 👤 felladrin User 🕐 Mis à jour 2026-11-21 📅 Créé 2023-10-14
176
jaylfc/taOS

Système d'exploitation pour agents IA auto-hébergé. Vos souvenirs, discussions, agents et fichiers restent sur votre propre matériel, hors ligne par défaut, dans le cloud par choix. Mémoire IA hors ligne (taOSmd), chat de groupe multi-framework auto-hébergé, bureau web complet + boutique d'applications, et clustering automatique sur le matériel grand public que vous possédez déjà (Orange/Raspberry Pi, Mac mini, PC de jeu).

jaylfc
⭐ 609 Python 👤 jaylfc User 🕐 Mis à jour 2026-11-20 📅 Créé 2026-04-05
177
andrewkchan/yalm

Encore un autre modèle linguistique : inférence LLM en C++/CUDA, aucune bibliothèque à l'exception de l'E/S

andrewkchan
⭐ 597 C++ 👤 andrewkchan User 🕐 Mis à jour 2025-09-13 📅 Créé 2024-10-02
178
huggingface/swift-chat

Application Mac pour démontrer swift-transformers

huggingface
⭐ 592 Swift 👤 huggingface Organization 🕐 Mis à jour 2024-07-29 📅 Créé 2023-05-11
179
zjhellofss/KuiperLLama

Projets de recrutement scolaire, automne, printemps, stages excellents, vous guidez pour implémenter de zéro un framework d'inférence de grands modèles supportant Llama2/3 et Qwen2.5.

zjhellofss
⭐ 581 C++ 👤 zjhellofss User 🕐 Mis à jour 2025-10-28 📅 Créé 2024-04-25
180
kacper-daftcode/vLLM-Moet

Modèles MoE de pointe sur RTX PRO 6000 / RTX 5090 (sm_120) : DeepSeek-V4.1-Flash sur 4 RTX PRO 6000, en hybride GPU+CPU sur 4 RTX 5090, et experts à 2 bits sur vLLM v0.24.0

kacper-daftcode
⭐ 580 Sass 👤 kacper-daftcode User 🕐 Mis à jour 2026-11-18 📅 Créé 2026-06-15
181
SakanaAI/treequest

Une bibliothèque de recherche arborescente avec une API flexible pour la mise à l'échelle au moment de l'inférence des LLM

SakanaAI
⭐ 580 Python 👤 SakanaAI Organization 🕐 Mis à jour 2026-11-08 📅 Créé 2025-06-30
182
devflowinc/uzi

CLI pour exécuter un grand nombre d'agents de codage en parallèle avec des arbres de travail git

devflowinc
⭐ 579 Go 👤 devflowinc Organization 🕐 Mis à jour 2025-06-04 📅 Créé 2025-05-27
183
rohan-paul/LLM-FineTuning-Large-Language-Models

Affinage de LLM (Large Language Model)

rohan-paul
⭐ 574 Jupyter Notebook 👤 rohan-paul User 🕐 Mis à jour 2025-04-01 📅 Créé 2023-10-22
184
StartLuxLabs/StartLux-Prism

Inférence rapide et exacte des modèles StartLux-Decision sur GPU NVIDIA : les fichiers GGUF publiés s’exécutent sur des cœurs tensoriels int8 et 4 bits via l’API /v1/systemone, avec une latence jusqu’à 5,3 fois inférieure à celle de vLLM en FP8 et des réponses identiques au bit près.

StartLuxLabs
⭐ 560 Python 👤 StartLuxLabs Organization 🕐 Mis à jour 2026-10-27 📅 Créé 2026-10-13
185
yassa9/qwen600

Moteur d'inférence statique minimaliste, lot unique, uniquement CUDA, qwen3-0.6B, mini

yassa9
⭐ 559 Cuda 👤 yassa9 User 🕐 Mis à jour 2025-09-08 📅 Créé 2025-09-06
186
01-ai/Yi-1.5

Yi-1.5 est une version améliorée de Yi, offrant de meilleures performances en matière de codage, de mathématiques, de raisonnement et de capacité à suivre les instructions.

01-ai
⭐ 557 👤 01-ai Organization 🕐 Mis à jour 2024-11-11 📅 Créé 2024-05-10
189
Noeda/rllama

Implémentation du code d'inférence LLaMA avec Rust+OpenCL+AVX2

Noeda
⭐ 551 Rust 👤 Noeda User 🕐 Mis à jour 2024-02-12 📅 Créé 2023-03-11
190
OmniJev/Flide

🔥🔥 Le moteur d’inférence ultra-rapide pour les modèles de décision

OmniJev
⭐ 550 Python 👤 OmniJev Organization 🕐 Mis à jour 2026-11-21 📅 Créé 2026-10-24
191
Indras-Mirror/Xolotl

Xolotl : exécutez DeepSeek-V4.1-Flash, avec l’intégralité de ses 552B paramètres, comme agent de programmation local sur un seul PC gaming (RTX 4090 + 110 Go de RAM) : ~33 tok/s en mode agent, ~41 en mode rapide, avec un contexte de 512K. Également disponible : Inkling-2-Mini (Thinking Machines, moteur propriétaire + générateur d’ébauches MTP), GLM-5.3-Flash, Qwen3.8 et LFM3-Omni. Experts MoE répartis par niveaux entre la VRAM, la RAM et le NVMe (Xolotl Direct). API OpenAI + Anthropic.

Indras-Mirror
⭐ 549 C++ 👤 Indras-Mirror User 🕐 Mis à jour 2026-11-21 📅 Créé 2026-10-06
192
mit-han-lab/duo-attention

[ICLR 2025] DuoAttention : Inférence LLM efficace à long contexte avec têtes de récupération et de streaming

mit-han-lab
⭐ 541 Python 👤 mit-han-lab Organization 🕐 Mis à jour 2025-02-10 📅 Créé 2024-10-15
193
microsoft/sarathi-serve

Un moteur de service à faible latence et haut débit pour les LLM

microsoft
⭐ 539 Python 👤 microsoft Organization 🕐 Mis à jour 2026-11-17 📅 Créé 2023-11-02
194
v-modal/awesome-jev-tools

Une liste soigneusement sélectionnée d’outils conçus pour Jev, le modèle System One de TypeSafe AI dédié aux décisions typées.

v-modal
⭐ 537 👤 v-modal Organization 🕐 Mis à jour 2026-11-15 📅 Créé 2026-09-19
195
brontoguana/krasis

Krasis est un runtime LLM hybride qui se concentre sur l'exécution efficace de modèles plus volumineux sur du matériel grand public à VRAM limitée

brontoguana
⭐ 530 C++ 👤 brontoguana User 🕐 Mis à jour 2026-11-12 📅 Créé 2026-02-09
196
ome-projects/ome

Open Model Engine (OME) — opérateur Kubernetes pour le déploiement de services de LLM, l’ordonnancement des GPU et la gestion du cycle de vie des modèles. Compatible avec SGLang, vLLM, TensorRT-LLM et Triton

ome-projects
⭐ 529 Go 👤 ome-projects Organization 🕐 Mis à jour 2026-11-21 📅 Créé 2025-05-19
197
amitshekhariitbhu/llm-inference-engineering

Apprenez l’ingénierie de l’inférence des LLM étape par étape : du cache KV, de PagedAttention et du traitement continu par lots à vLLM, SGLang et aux GPU.

amitshekhariitbhu
⭐ 523 Markdown 👤 amitshekhariitbhu User 🕐 Mis à jour 2026-11-09 📅 Créé 2026-08-18
198
huawei-csl/KVarN

KVarN est un backend natif vLLM de quantification du cache KV pour vos agents : 3 à 5 fois plus de contexte, un débit supérieur à FP16 et une précision de niveau FP16. Sans calibration, un seul indicateur.

huawei-csl
⭐ 521 Python 👤 huawei-csl Organization 🕐 Mis à jour 2026-06-22 📅 Créé 2026-05-29
199
expectedparrot/edsl

Concevez, réalisez et analysez les résultats d’enquêtes et d’expériences alimentées par l’IA. Simulez des recherches en sciences sociales et des études de marché avec un grand nombre d’agents d’IA et de grands modèles de langage.

expectedparrot
⭐ 521 Python 👤 expectedparrot Organization 🕐 Mis à jour 2026-11-21 📅 Créé 2024-01-02
200
turboderp-org/exui

Interface Web pour ExLlamaV2

turboderp-org
⭐ 513 JavaScript 👤 turboderp-org Organization 🕐 Mis à jour 2025-02-05 📅 Créé 2023-10-29