#speculative-decoding 仓库
探索 37 个标记为 #speculative-decoding 的活跃开源 GitHub 仓库,它们累计获得 83,160 个 Star(平均每个项目 2,247 个)。该主题的领先项目是 OpenBMB/MiniCPM,拥有 11,898 个 Star。
共 37 个仓库
一个统一的 SOTA 模型优化技术库,包含量化、蒸馏、剪枝、神经架构搜索、推测解码等技术。它为 TensorRT-LLM、TensorRT、vLLM 等下游部署框架压缩深度学习模型,以优化推理速度。
Rapid-MLX 是一个开源(Apache 2.0)的 LLM 推理服务器,适用于 Apple Silicon,兼容 OpenAI 和 Anthropic,基于 MLX 构建,专注于为编程代理提供可靠的工具调用功能。在使用相同模型权重的情况下,速度最高可达 Apple 的 MLX(mlx-lm)的 4 倍。
在你实际拥有的 GPU 上快速部署大型 Qwen 模型。使用 vLLM 在单张 24 GB 显卡上运行 Qwen3.8-27B:单用户 127 token/秒(答案引用提示词时为 381 token/秒),64 路并发时约 1,035 token/秒,支持 150k–262k 上下文。vLLM 补丁、重新量化流程与基准测试。
在 Mac 上运行 Qwen 3.8 Flash Next、Qwen 3.8 27B 和 Ternary Bonsai 2 27B 的最快方式:在 M5 Max 上通过 OpenCode 达到 125 token/秒,并可在 16 GB Mac 上运行 27B 模型。在 Apple Silicon 上原生支持 MTP 推测解码,在任何温度下都能保持精确。兼容 OpenAI 和 Anthropic 的本地服务器。
用于在任意硬件和量化设置下逐步优化本地 LLM 服务速度(解码、推测解码、预填充、KV、启动、首 Token 延迟)的 Agent 技能
本地推理,体验媲美前沿 API:在 AMD Strix Halo 上运行 Qwen3.8-Flash-Next 和小型 NPU 模型,通过同一端口提供 OpenAI 和 Anthropic API。
零 GPU、纯 CPU 推理,支持 30B–284B MoE 模型(Qwen3.8 176.5B 已在 28.26/48.35 GiB 的 Cgroup v2 冷缓存环境中通过认证、DeepSeek-V4 284B、Nemotron-30B)+ RouteCrack 2.0。
在自己的 PC 上运行大型 AI 模型:使用 Strata 引擎运行 Qwen3.8-Flash-Next,使用专为 PolyStrata 打造的第二款引擎运行 GLM 5.3 Flash、DeepSeek V4 Flash、LFM2.5、Qwen3.6、Ornith 1.5、Gemma 4、Tiel Coder 和 MiniCPM-V。支持 Windows 和 Linux 一键安装,并在 localhost 上提供 OpenAI/Anthropic API。
为 Qwen 和 Nemotron 优化的极速 Apple Silicon 推理引擎。兼容 OpenAI 和 Anthropic API。由 nace.ai 团队打造。
在免费的 Kaggle TPU v5e-8 上运行前沿级开源模型:GLM-5.3-Flash 320B MoE(约 165 token/秒,采用我们自研的 JAX 引擎)和 Qwen3.8-27B bf16(约 130 token/秒),支持 262K 上下文和前缀缓存。可与 Claude Code、Codex、opencode 和 pi 配合使用。
在 Apple Silicon 上实现最高 4 倍速的 LLM 解码,且无损。DeepSeek 的 DSpark 和 z-lab 的 DFlash 推测解码的原生 MLX 移植版——支持 Gemma-4、Qwen3.8、Muse-Glimmer、Nemotron、LFM2.5、Ornith-1.0 以及三值 Bonsai-27B。
在一台 32 GB 笔记本电脑上运行 Qwen3-Next-80B(48 GB),速度可达 37 tok/s;不使用草稿解码时为 24 tok/s,而 llama.cpp 为 2.8 tok/s;读取速度为 62 tok/s 对 16 tok/s。在 Q4_K_M 下对比的全部 13 个模型中,速度都快于 llama.cpp。运行比内存更大的 LLM,纯 C 实现,支持 CPU 或 GPU。
从教师到瓦片——一个从头构建的LLM蒸馏与推理引擎:自定义Triton/CUDA内核、FSDP蒸馏、分页KV连续批处理、推测解码、Rust网关、JAX预言机以及可解释性工具。
完全不受审查、增强能力的 Qwen3.6-27B 消融版。基于统一的 ghcr.io/aeon-7/aeon-vllm-ultimate:latest 容器,采用 NVFP4 + z-lab DFlash 推测解码(n=12),针对 DGX Spark 上的长上下文草稿接受率进行了调优。提供 6 个 HF 变体(BF16/NVFP4/MTP/MTP-XS)、docker-compose 和快速入门指南。
常见问题解答
GitHub 上最受欢迎的 #speculative-decoding 仓库是什么?
GitHub 上排名第一的开源 #speculative-decoding 项目是 OpenBMB/MiniCPM,拥有 11,898 个 Star。MiniCPM5:端侧最先进的大语言模型,小而强大。
#speculative-decoding 仓库中最常使用的编程语言有哪些?
在 GitHub 上排名靠前的 #speculative-decoding 项目中,最常见的编程语言是 Python, C++, Jupyter Notebook, JavaScript。
#speculative-decoding 仓库的排名是如何计算的?
我们跟踪了 37 个标记为 #speculative-decoding 且拥有 500+ 个 Star 的活跃开源仓库,共计获得 83,160 个 Star,平均每个仓库拥有 2,247 个 Star。排名每日根据 GitHub API 更新。