Git Stars Git Stars

#speculative-decoding 仓库

探索 37 个标记为 #speculative-decoding 的活跃开源 GitHub 仓库,它们累计获得 83,160 个 Star(平均每个项目 2,247 个)。该主题的领先项目是 OpenBMB/MiniCPM,拥有 11,898 个 Star。

37
仓库总数
83,160
总星标数
2,247
平均每个仓库星标数
1
OpenBMB/MiniCPM

MiniCPM5:端侧最先进的大语言模型,小而强大。

OpenBMB
⭐ 11,898 Jupyter Notebook 👤 OpenBMB Organization 🕐 已更新 2026-11-09 📅 创建时间 2024-01-29
2
karminski/one-small-step

这是一个简单的技术科普教程项目,主要聚焦于解释一些有趣的,前沿的技术概念和原理。每篇文章都力求在 5 分钟内阅读完成。

karminski
⭐ 7,006 Python 👤 karminski User 🕐 已更新 2026-03-08 📅 创建时间 2025-01-16
3
z-lab/dflash

DFlash:Flash 预期解码的块扩散

z-lab
⭐ 6,254 Python 👤 z-lab Organization 🕐 已更新 2026-08-18 📅 创建时间 2026-01-04
4
meta-pytorch/gpt-fast

python < 1000 LOC 内实现简单高效的 Pytorch 原生 Transformer 文本生成。

meta-pytorch
⭐ 6,244 Python 👤 meta-pytorch Organization 🕐 已更新 2025-08-22 📅 创建时间 2023-10-17
5
NVIDIA/Model-Optimizer

一个统一的 SOTA 模型优化技术库,包含量化、蒸馏、剪枝、神经架构搜索、推测解码等技术。它为 TensorRT-LLM、TensorRT、vLLM 等下游部署框架压缩深度学习模型,以优化推理速度。

NVIDIA
⭐ 5,646 Python 👤 NVIDIA Organization 🕐 已更新 2026-11-21 📅 创建时间 2024-04-23
6
raullenchai/Rapid-MLX

Rapid-MLX 是一个开源(Apache 2.0)的 LLM 推理服务器,适用于 Apple Silicon,兼容 OpenAI 和 Anthropic,基于 MLX 构建,专注于为编程代理提供可靠的工具调用功能。在使用相同模型权重的情况下,速度最高可达 Apple 的 MLX(mlx-lm)的 4 倍。

raullenchai
⭐ 4,168 Python 👤 raullenchai User 🕐 已更新 2026-11-21 📅 创建时间 2026-02-25
7
radixark/miles

Miles 是一个面向企业的强化学习框架,用于 LLM 和 VLM 的后期训练,派生自并与 slime 共进化。

radixark
⭐ 3,386 Python 👤 radixark Organization 🕐 已更新 2026-11-21 📅 创建时间 2025-10-09
8
Luce-Org/lucebox

适用于异构硬件和消费级 GPU 的 Lucebox 推理引擎

Luce-Org
⭐ 3,024 C++ 👤 Luce-Org Organization 🕐 已更新 2026-11-21 📅 创建时间 2026-04-03
9
syv-ai/HyperQwen

在你实际拥有的 GPU 上快速部署大型 Qwen 模型。使用 vLLM 在单张 24 GB 显卡上运行 Qwen3.8-27B:单用户 127 token/秒(答案引用提示词时为 381 token/秒),64 路并发时约 1,035 token/秒,支持 150k–262k 上下文。vLLM 补丁、重新量化流程与基准测试。

syv-ai
⭐ 2,778 Python 👤 syv-ai Organization 🕐 已更新 2026-11-10 📅 创建时间 2026-08-15
10
youssofal/MTPLX

在 Mac 上运行 Qwen 3.8 Flash Next、Qwen 3.8 27B 和 Ternary Bonsai 2 27B 的最快方式:在 M5 Max 上通过 OpenCode 达到 125 token/秒,并可在 16 GB Mac 上运行 27B 模型。在 Apple Silicon 上原生支持 MTP 推测解码,在任何温度下都能保持精确。兼容 OpenAI 和 Anthropic 的本地服务器。

youssofal
⭐ 2,729 Python 👤 youssofal User 🕐 已更新 2026-11-21 📅 创建时间 2026-05-02
11
incoai/splash

一款围绕该模型构建的 Apple 芯片本地推理引擎。

incoai
⭐ 2,591 C++ 👤 incoai Organization 🕐 已更新 2026-11-17 📅 创建时间 2026-09-18
12
SafeAILab/EAGLE

EAGLE-1 (ICML'24)、EAGLE-2 (EMNLP'24) 和 EAGLE-3 (NeurIPS'25) 的官方实现。

SafeAILab
⭐ 2,581 Python 👤 SafeAILab Organization 🕐 已更新 2026-02-20 📅 创建时间 2023-12-07
13
dphnAI/sonar

大规模LLM推理引擎

dphnAI
⭐ 1,911 Python 👤 dphnAI Organization 🕐 已更新 2026-11-17 📅 创建时间 2023-06-23
14
Tencent/AngelSlim

专为提升可用性、全面性和效率而设计的模型压缩工具包。

Tencent
⭐ 1,811 Python 👤 Tencent Organization 🕐 已更新 2026-11-20 📅 创建时间 2025-07-04
15
sybil-solutions/inference-optimisation-skill

用于在任意硬件和量化设置下逐步优化本地 LLM 服务速度(解码、推测解码、预填充、KV、启动、首 Token 延迟)的 Agent 技能

sybil-solutions
⭐ 1,425 Python 👤 sybil-solutions Organization 🕐 已更新 2026-11-16 📅 创建时间 2026-11-16
16
peonist-ai/halogen-flash-server

本地推理,体验媲美前沿 API:在 AMD Strix Halo 上运行 Qwen3.8-Flash-Next 和小型 NPU 模型,通过同一端口提供 OpenAI 和 Anthropic API。

peonist-ai
⭐ 1,412 Shell 👤 peonist-ai Organization 🕐 已更新 2026-11-18 📅 创建时间 2026-08-26
17
synchopate/llama-modchip

零 GPU、纯 CPU 推理,支持 30B–284B MoE 模型(Qwen3.8 176.5B 已在 28.26/48.35 GiB 的 Cgroup v2 冷缓存环境中通过认证、DeepSeek-V4 284B、Nemotron-30B)+ RouteCrack 2.0。

synchopate
⭐ 1,398 Python 👤 synchopate User 🕐 已更新 2026-11-21 📅 创建时间 2026-10-29
18
hao-ai-lab/LookaheadDecoding

[ICML 2024] 使用前瞻解码打破LLM推理的顺序依赖

hao-ai-lab
⭐ 1,337 Python 👤 hao-ai-lab Organization 🕐 已更新 2025-03-06 📅 创建时间 2023-11-21
19
simplexai-labs/PolyStrata

在自己的 PC 上运行大型 AI 模型:使用 Strata 引擎运行 Qwen3.8-Flash-Next,使用专为 PolyStrata 打造的第二款引擎运行 GLM 5.3 Flash、DeepSeek V4 Flash、LFM2.5、Qwen3.6、Ornith 1.5、Gemma 4、Tiel Coder 和 MiniCPM-V。支持 Windows 和 Linux 一键安装,并在 localhost 上提供 OpenAI/Anthropic API。

simplexai-labs
⭐ 1,324 C++ 👤 simplexai-labs Organization 🕐 已更新 2026-11-18 📅 创建时间 2026-10-06
20
hemingkx/SpeculativeDecodingPapers

📰 关于 Speculative Decoding 的必读论文和博客 ⚡️

hemingkx
⭐ 1,309 👤 hemingkx User 🕐 已更新 2026-06-27 📅 创建时间 2023-09-20
21
eagle-hq/EAGLE-4

EAGLE-4 官方推理代码

eagle-hq
⭐ 1,220 Python 👤 eagle-hq Organization 🕐 已更新 2026-11-13 📅 创建时间 2026-10-20
22
StayLameBro/backburner

你的 iPhone 助力 Mac 运行 270 亿参数模型:通过 USB-C 线缆更快读取提示词,并支持更长上下文

StayLameBro
⭐ 1,195 Python 👤 StayLameBro User 🕐 已更新 2026-11-07 📅 创建时间 2026-10-01
23
vllm-project/speculators

一个用于在 vLLM 中构建、评估和存储 LLM 推理投机解码算法的统一库

vllm-project
⭐ 972 Python 👤 vllm-project Organization 🕐 已更新 2026-11-20 📅 创建时间 2025-04-08
24
chrisliu298/awesome-on-policy-distillation

关于大型语言模型在策略蒸馏(OPD)的论文、技术报告、框架和工具的精选集

chrisliu298
⭐ 926 👤 chrisliu298 User 🕐 已更新 2026-10-06 📅 创建时间 2026-03-22
25
feifeibear/LLMSpeculativeSampling

通过推测性解码从大型语言模型进行快速推理

feifeibear
⭐ 875 Python 👤 feifeibear User 🕐 已更新 2024-08-22 📅 创建时间 2023-08-16
26
nace-ai/kapitsa

为 Qwen 和 Nemotron 优化的极速 Apple Silicon 推理引擎。兼容 OpenAI 和 Anthropic API。由 nace.ai 团队打造。

nace-ai
⭐ 840 C++ 👤 nace-ai Organization 🕐 已更新 2026-11-21 📅 创建时间 2026-10-16
27
ARahim3/kaggle-tpu-lab

在免费的 Kaggle TPU v5e-8 上运行前沿级开源模型:GLM-5.3-Flash 320B MoE(约 165 token/秒,采用我们自研的 JAX 引擎)和 Qwen3.8-27B bf16(约 130 token/秒),支持 262K 上下文和前缀缓存。可与 Claude Code、Codex、opencode 和 pi 配合使用。

ARahim3
⭐ 812 Python 👤 ARahim3 User 🕐 已更新 2026-10-06 📅 创建时间 2026-08-31
28
ARahim3/mlx-dspark

在 Apple Silicon 上实现最高 4 倍速的 LLM 解码,且无损。DeepSeek 的 DSpark 和 z-lab 的 DFlash 推测解码的原生 MLX 移植版——支持 Gemma-4、Qwen3.8、Muse-Glimmer、Nemotron、LFM2.5、Ornith-1.0 以及三值 Bonsai-27B。

ARahim3
⭐ 743 Python 👤 ARahim3 User 🕐 已更新 2026-11-08 📅 创建时间 2026-06-29
29
prabanta-dev/janas

在一台 32 GB 笔记本电脑上运行 Qwen3-Next-80B(48 GB),速度可达 37 tok/s;不使用草稿解码时为 24 tok/s,而 llama.cpp 为 2.8 tok/s;读取速度为 62 tok/s 对 16 tok/s。在 Q4_K_M 下对比的全部 13 个模型中,速度都快于 llama.cpp。运行比内存更大的 LLM,纯 C 实现,支持 CPU 或 GPU。

prabanta-dev
⭐ 738 C 👤 prabanta-dev Organization 🕐 已更新 2026-11-20 📅 创建时间 2026-09-20
30
Avarok-Cybersecurity/atlas

纯Rust推理引擎

Avarok-Cybersecurity
⭐ 737 Rust 👤 Avarok-Cybersecurity Organization 🕐 已更新 2026-11-16 📅 创建时间 2026-05-05
32
MDK8888/GPTFast

将您的 Hugging Face Transformers 加速 7.6-9 倍。原生支持 Hugging Face 和 PyTorch。

MDK8888
⭐ 687 Python 👤 MDK8888 User 🕐 已更新 2024-08-22 📅 创建时间 2024-02-18
33
Nehanth/pooled

在浏览器中进行点对点 LLM 推理:汇聚你的设备,运行大型开源模型,用于聊天和编程代理。

Nehanth
⭐ 658 JavaScript 👤 Nehanth User 🕐 已更新 2026-11-03 📅 创建时间 2026-09-01
35
zengxiao-he/tessera

从教师到瓦片——一个从头构建的LLM蒸馏与推理引擎:自定义Triton/CUDA内核、FSDP蒸馏、分页KV连续批处理、推测解码、Rust网关、JAX预言机以及可解释性工具。

zengxiao-he
⭐ 556 Python 👤 zengxiao-he User 🕐 已更新 2026-10-09 📅 创建时间 2026-06-05
36
turboderp-org/exui

ExLlamaV2 的 Web UI

turboderp-org
⭐ 513 JavaScript 👤 turboderp-org Organization 🕐 已更新 2025-02-05 📅 创建时间 2023-10-29
37
AEON-7/Qwen3.6-27B-AEON-Ultimate-Uncensored-DFlash

完全不受审查、增强能力的 Qwen3.6-27B 消融版。基于统一的 ghcr.io/aeon-7/aeon-vllm-ultimate:latest 容器,采用 NVFP4 + z-lab DFlash 推测解码(n=12),针对 DGX Spark 上的长上下文草稿接受率进行了调优。提供 6 个 HF 变体(BF16/NVFP4/MTP/MTP-XS)、docker-compose 和快速入门指南。

AEON-7
⭐ 501 Python 👤 AEON-7 User 🕐 已更新 2026-11-13 📅 创建时间 2026-04-25

常见问题解答

1

GitHub 上最受欢迎的 #speculative-decoding 仓库是什么?

GitHub 上排名第一的开源 #speculative-decoding 项目是 OpenBMB/MiniCPM,拥有 11,898 个 Star。MiniCPM5:端侧最先进的大语言模型,小而强大。

2

#speculative-decoding 仓库中最常使用的编程语言有哪些?

在 GitHub 上排名靠前的 #speculative-decoding 项目中,最常见的编程语言是 Python, C++, Jupyter Notebook, JavaScript。

3

#speculative-decoding 仓库的排名是如何计算的?

我们跟踪了 37 个标记为 #speculative-decoding 且拥有 500+ 个 Star 的活跃开源仓库,共计获得 83,160 个 Star,平均每个仓库拥有 2,247 个 Star。排名每日根据 GitHub API 更新。