Git Stars Git Stars

#speculative-decoding Dépôts

Découvrez 37 dépôts GitHub open source actifs associés à #speculative-decoding, cumulant 83,160 étoiles au total (soit une moyenne de 2,247 étoiles par projet). Le projet en tête de ce thème est OpenBMB/MiniCPM, avec 11,898 étoiles.

37
Total des Dépôts
83,160
Nombre total d'étoiles
2,247
Moyenne d'Étoiles/Dépôt
1
OpenBMB/MiniCPM

MiniCPM5 : des LLMs de pointe sur l'appareil, petits mais puissants.

OpenBMB
⭐ 11,898 Jupyter Notebook 👤 OpenBMB Organization 🕐 Mis à jour 2026-11-09 📅 Créé 2024-01-29
2
karminski/one-small-step

Ceci est un simple projet de tutoriel technique科普, axé principalement sur l'explication de concepts et de principes technologiques intéressants et de pointe. Chaque article vise à être lu en 5 minutes.

karminski
⭐ 7,006 Python 👤 karminski User 🕐 Mis à jour 2026-03-08 📅 Créé 2025-01-16
3
z-lab/dflash

DFlash : Diffusion de blocs pour le décodage spéculatif Flash

z-lab
⭐ 6,254 Python 👤 z-lab Organization 🕐 Mis à jour 2026-08-18 📅 Créé 2026-01-04
4
meta-pytorch/gpt-fast

Génération de texte Transformer simple et efficace, native de pytorch, en moins de 1000 lignes de code Python.

meta-pytorch
⭐ 6,244 Python 👤 meta-pytorch Organization 🕐 Mis à jour 2025-08-22 📅 Créé 2023-10-17
5
NVIDIA/Model-Optimizer

Une bibliothèque unifiée de techniques d'optimisation de modèles SOTA telles que la quantification, la distillation, l'élagage, la recherche d'architecture neuronale, le décodage spéculatif, etc. Elle compresse les modèles d'apprentissage profond pour les frameworks de déploiement en aval tels que TensorRT-LLM, TensorRT, vLLM, etc., afin d'optimiser la vitesse d'inférence.

NVIDIA
⭐ 5,646 Python 👤 NVIDIA Organization 🕐 Mis à jour 2026-11-21 📅 Créé 2024-04-23
6
raullenchai/Rapid-MLX

Rapid-MLX est un serveur d’inférence LLM open source (Apache 2.0) pour Apple Silicon, compatible avec OpenAI et Anthropic, basé sur MLX et axé sur des appels d’outils fiables pour les agents de programmation. Jusqu’à 4 fois plus rapide que MLX (mlx-lm) d’Apple avec les mêmes poids.

raullenchai
⭐ 4,168 Python 👤 raullenchai User 🕐 Mis à jour 2026-11-21 📅 Créé 2026-02-25
7
radixark/miles

Miles est un framework d'apprentissage par renforcement orienté entreprise pour le post-entraînement de LLM et VLM, dérivé de et co-évoluant avec slime.

radixark
⭐ 3,386 Python 👤 radixark Organization 🕐 Mis à jour 2026-11-21 📅 Créé 2025-10-09
8
Luce-Org/lucebox

Moteur d’inférence Lucebox pour matériel hétérogène et GPU grand public

Luce-Org
⭐ 3,024 C++ 👤 Luce-Org Organization 🕐 Mis à jour 2026-11-21 📅 Créé 2026-04-03
9
syv-ai/HyperQwen

Exécutez rapidement de grands modèles Qwen sur les GPU que vous possédez réellement. Qwen3.8-27B sur une seule carte de 24 Go avec vLLM : 127 tok/s pour un seul utilisateur (381 lorsque la réponse cite le prompt), environ 1 035 tok/s avec 64 requêtes simultanées, et un contexte de 150k à 262k. Correctifs vLLM, pipeline de re-quantification et benchmarks.

syv-ai
⭐ 2,778 Python 👤 syv-ai Organization 🕐 Mis à jour 2026-11-10 📅 Créé 2026-08-15
10
youssofal/MTPLX

La manière la plus rapide d’exécuter Qwen 3.8 Flash Next, Qwen 3.8 27B et Ternary Bonsai 2 27B sur un Mac : 125 tokens/s dans OpenCode avec un M5 Max, et un modèle 27B sur les Mac dotés de 16 Go. Décodage spéculatif MTP natif sur Apple Silicon, exact à n’importe quelle température. Serveur local compatible avec OpenAI et Anthropic.

youssofal
⭐ 2,729 Python 👤 youssofal User 🕐 Mis à jour 2026-11-21 📅 Créé 2026-05-02
11
incoai/splash

Un moteur d’inférence local pour Apple Silicon, conçu autour du modèle.

incoai
⭐ 2,591 C++ 👤 incoai Organization 🕐 Mis à jour 2026-11-17 📅 Créé 2026-09-18
12
SafeAILab/EAGLE

Implémentation officielle de EAGLE-1 (ICML'24), EAGLE-2 (EMNLP'24) et EAGLE-3 (NeurIPS'25).

SafeAILab
⭐ 2,581 Python 👤 SafeAILab Organization 🕐 Mis à jour 2026-02-20 📅 Créé 2023-12-07
13
dphnAI/sonar

Moteur d'inférence LLM à grande échelle

dphnAI
⭐ 1,911 Python 👤 dphnAI Organization 🕐 Mis à jour 2026-11-17 📅 Créé 2023-06-23
14
Tencent/AngelSlim

Kit d'outils de compression de modèles conçu pour une meilleure convivialité, exhaustivité et efficacité.

Tencent
⭐ 1,811 Python 👤 Tencent Organization 🕐 Mis à jour 2026-11-20 📅 Créé 2025-07-04
15
sybil-solutions/inference-optimisation-skill

Compétence d’agent pour optimiser progressivement la vitesse de service des LLM locaux (décodage, décodage spéculatif, préremplissage, KV, démarrage, TTFT) sur tout type de matériel et de quantification

sybil-solutions
⭐ 1,425 Python 👤 sybil-solutions Organization 🕐 Mis à jour 2026-11-16 📅 Créé 2026-11-16
16
peonist-ai/halogen-flash-server

Inférence locale au comportement comparable à celui d’une API de pointe : Qwen3.8-Flash-Next sur AMD Strix Halo, ainsi que de petits modèles NPU, via les API d’OpenAI et d’Anthropic sur un seul port.

peonist-ai
⭐ 1,412 Shell 👤 peonist-ai Organization 🕐 Mis à jour 2026-11-18 📅 Créé 2026-08-26
17
synchopate/llama-modchip

Inférence sur CPU sans GPU pour les modèles MoE de 30B à 284B (Qwen3.8 176.5B certifié avec cache froide dans Cgroup v2 à 28,26/48,35 Gio, DeepSeek-V4 284B, Nemotron-30B) + RouteCrack 2.0.

synchopate
⭐ 1,398 Python 👤 synchopate User 🕐 Mis à jour 2026-11-21 📅 Créé 2026-10-29
18
hao-ai-lab/LookaheadDecoding

[ICML 2024] Rompre la dépendance séquentielle de l'inférence LLM grâce au décodage prospectif

hao-ai-lab
⭐ 1,337 Python 👤 hao-ai-lab Organization 🕐 Mis à jour 2025-03-06 📅 Créé 2023-11-21
19
simplexai-labs/PolyStrata

Exécutez de grands modèles d’IA sur votre propre PC : Qwen3.8-Flash-Next avec le moteur de Strata, et GLM 5.3 Flash, DeepSeek V4 Flash, LFM2.5, Qwen3.6, Ornith 1.5, Gemma 4, Tiel Coder et MiniCPM-V avec un second moteur conçu pour PolyStrata. Installation en un clic sous Windows et Linux, avec une API OpenAI/Anthropic sur localhost.

simplexai-labs
⭐ 1,324 C++ 👤 simplexai-labs Organization 🕐 Mis à jour 2026-11-18 📅 Créé 2026-10-06
20
hemingkx/SpeculativeDecodingPapers

📰 Articles et blogs incontournables sur le décodage spéculatif ⚡️

hemingkx
⭐ 1,309 👤 hemingkx User 🕐 Mis à jour 2026-06-27 📅 Créé 2023-09-20
21
eagle-hq/EAGLE-4

Code officiel d’inférence d’EAGLE-4

eagle-hq
⭐ 1,220 Python 👤 eagle-hq Organization 🕐 Mis à jour 2026-11-13 📅 Créé 2026-10-20
22
StayLameBro/backburner

Votre iPhone aide votre Mac à exécuter un modèle de 27 milliards de paramètres : lecture plus rapide des invites et davantage de contexte via un câble USB-C

StayLameBro
⭐ 1,195 Python 👤 StayLameBro User 🕐 Mis à jour 2026-11-07 📅 Créé 2026-10-01
23
vllm-project/speculators

Une bibliothèque unifiée pour construire, évaluer et stocker des algorithmes de décodage spéculatif pour l'inférence LLM dans vLLM

vllm-project
⭐ 972 Python 👤 vllm-project Organization 🕐 Mis à jour 2026-11-20 📅 Créé 2025-04-08
24
chrisliu298/awesome-on-policy-distillation

Une collection organisée d'articles, de rapports techniques, de cadres et d'outils pour la distillation en politique (OPD) des grands modèles de langage

chrisliu298
⭐ 926 👤 chrisliu298 User 🕐 Mis à jour 2026-10-06 📅 Créé 2026-03-22
25
feifeibear/LLMSpeculativeSampling

Inférence rapide à partir de grands modèles de langage via le décodage spéculatif

feifeibear
⭐ 875 Python 👤 feifeibear User 🕐 Mis à jour 2024-08-22 📅 Créé 2023-08-16
26
nace-ai/kapitsa

Moteur d’inférence ultra-rapide pour Apple Silicon, optimisé pour Qwen et Nemotron. Compatible avec les API d’OpenAI et d’Anthropic. Créé par l’équipe de nace.ai

nace-ai
⭐ 840 C++ 👤 nace-ai Organization 🕐 Mis à jour 2026-11-21 📅 Créé 2026-10-16
27
ARahim3/kaggle-tpu-lab

Modèles ouverts de niveau frontière sur un TPU v5e-8 gratuit de Kaggle : GLM-5.3-Flash 320B MoE (~165 tok/s, avec notre propre moteur JAX) et Qwen3.8-27B bf16 (~130 tok/s), contexte de 262k et mise en cache des préfixes. Compatible avec Claude Code, Codex, opencode et pi.

ARahim3
⭐ 812 Python 👤 ARahim3 User 🕐 Mis à jour 2026-10-06 📅 Créé 2026-08-31
28
ARahim3/mlx-dspark

Décodage des LLM jusqu’à 4× plus rapide sur Apple Silicon, sans perte. Portage MLX natif du décodage spéculatif DSpark de DeepSeek et DFlash de z-lab — Gemma-4, Qwen3.8, Muse-Glimmer, Nemotron, LFM2.5, Ornith-1.0 et Bonsai-27B ternaire.

ARahim3
⭐ 743 Python 👤 ARahim3 User 🕐 Mis à jour 2026-11-08 📅 Créé 2026-06-29
29
prabanta-dev/janas

37 tok/s avec Qwen3-Next-80B (48 Go) sur un ordinateur portable de 32 Go ; 24 sans spéculation, contre 2,8 avec llama.cpp ; lecture à 62 contre 16 tok/s. Plus rapide que llama.cpp sur les 13 modèles comparés en Q4_K_M. Des LLM plus grands que votre RAM, en C pur, sur CPU ou GPU.

prabanta-dev
⭐ 738 C 👤 prabanta-dev Organization 🕐 Mis à jour 2026-11-20 📅 Créé 2026-09-20
30
Avarok-Cybersecurity/atlas

Moteur d'inférence pur en Rust

Avarok-Cybersecurity
⭐ 737 Rust 👤 Avarok-Cybersecurity Organization 🕐 Mis à jour 2026-11-16 📅 Créé 2026-05-05
32
MDK8888/GPTFast

Accélérez vos Transformers Hugging Face de 7,6 à 9 fois. Natif pour Hugging Face et PyTorch.

MDK8888
⭐ 687 Python 👤 MDK8888 User 🕐 Mis à jour 2024-08-22 📅 Créé 2024-02-18
33
Nehanth/pooled

Inférence de LLM pair à pair dans le navigateur : mettez vos appareils en commun pour exécuter de grands modèles ouverts destinés aux agents conversationnels et de programmation.

Nehanth
⭐ 658 JavaScript 👤 Nehanth User 🕐 Mis à jour 2026-11-03 📅 Créé 2026-09-01
35
zengxiao-he/tessera

Du professeur aux tuiles — un moteur de distillation et de service LLM construit de zéro : noyaux Triton/CUDA personnalisés, distillation FSDP, traitement par lots continu avec KV paginé, décodage spéculatif, une passerelle Rust, un oracle JAX et des outils d'interprétabilité.

zengxiao-he
⭐ 556 Python 👤 zengxiao-he User 🕐 Mis à jour 2026-10-09 📅 Créé 2026-06-05
36
turboderp-org/exui

Interface Web pour ExLlamaV2

turboderp-org
⭐ 513 JavaScript 👤 turboderp-org Organization 🕐 Mis à jour 2025-02-05 📅 Créé 2023-10-29
37
AEON-7/Qwen3.6-27B-AEON-Ultimate-Uncensored-DFlash

Ablation entièrement sans censure et aux capacités améliorées de Qwen3.6-27B. Décodage spéculatif NVFP4 + z-lab DFlash (n=12) dans le conteneur unifié ghcr.io/aeon-7/aeon-vllm-ultimate:latest, optimisé pour l’acceptation des brouillons en contexte long sur DGX Spark. 6 variantes HF (BF16/NVFP4/MTP/MTP-XS), docker-compose et guide de démarrage rapide.

AEON-7
⭐ 501 Python 👤 AEON-7 User 🕐 Mis à jour 2026-11-13 📅 Créé 2026-04-25

Foire aux questions

1

Quel est le dépôt #speculative-decoding le plus populaire sur GitHub ?

Le projet #speculative-decoding open source le mieux classé sur GitHub est OpenBMB/MiniCPM, avec 11,898 étoiles. MiniCPM5 : des LLMs de pointe sur l'appareil, petits mais puissants.

2

Quels langages de programmation sont les plus utilisés dans les dépôts #speculative-decoding ?

Parmi les projets #speculative-decoding les mieux classés sur GitHub, les langages de programmation les plus courants sont Python, C++, Jupyter Notebook, JavaScript.

3

Comment le classement des dépôts #speculative-decoding est-il calculé ?

Nous suivons 37 dépôts open source actifs associés à #speculative-decoding (500+ étoiles), totalisant 83,160 étoiles, avec une moyenne de 2,247 étoiles par dépôt. Les classements sont mis à jour quotidiennement à partir de l’API GitHub.