Git Stars Git Stars

#speculative-decoding Репозитории

Откройте для себя 37 активных репозиториев с открытым исходным кодом на GitHub, отмеченных тегом #speculative-decoding, с общим числом 83,160 звёзд (в среднем 2,247 на проект). Лидером этой темы является OpenBMB/MiniCPM, набравший 11,898 звёзд.

37
Всего репозиториев
83,160
Всего звезд
2,247
Среднее количество звезд на репозиторий

Всего репозиториев: 37

1
OpenBMB/MiniCPM

MiniCPM5: передовые LLM на устройстве — маленькие, но мощные.

OpenBMB
⭐ 11,898 Jupyter Notebook 👤 OpenBMB Organization 🕐 Обновлено 2026-11-09 📅 Создано 2024-01-29
2
karminski/one-small-step

Это простой проект технического科普-туториала, в основном посвященный объяснению интересных, передовых технических концепций и принципов. Каждая статья должна быть прочитана за 5 минут.

karminski
⭐ 7,006 Python 👤 karminski User 🕐 Обновлено 2026-03-08 📅 Создано 2025-01-16
3
z-lab/dflash

DFlash: Блочный диффузионный подход для предсказывающей декодировки Flash

z-lab
⭐ 6,254 Python 👤 z-lab Organization 🕐 Обновлено 2026-08-18 📅 Создано 2026-01-04
4
meta-pytorch/gpt-fast

Простая и эффективная генерация текста Transformer на основе Pytorch менее чем за 1000 строк кода Python.

meta-pytorch
⭐ 6,244 Python 👤 meta-pytorch Organization 🕐 Обновлено 2025-08-22 📅 Создано 2023-10-17
5
NVIDIA/Model-Optimizer

Единая библиотека методов оптимизации моделей SOTA, таких как квантование, дистилляция, прунинг, поиск нейронных архитектур, спекулятивное декодирование и т. д. Она сжимает модели глубокого обучения для последующих фреймворков развертывания, таких как TensorRT-LLM, TensorRT, vLLM и других, для оптимизации скорости вывода.

NVIDIA
⭐ 5,646 Python 👤 NVIDIA Organization 🕐 Обновлено 2026-11-21 📅 Создано 2024-04-23
6
raullenchai/Rapid-MLX

Rapid-MLX — это сервер инференса LLM с открытым исходным кодом (Apache 2.0) для Apple Silicon, совместимый с OpenAI и Anthropic, созданный на базе MLX и ориентированный на надёжные вызовы инструментов для программных агентов. До 4 раз быстрее MLX (mlx-lm) от Apple при использовании тех же весов.

raullenchai
⭐ 4,168 Python 👤 raullenchai User 🕐 Обновлено 2026-11-21 📅 Создано 2026-02-25
7
radixark/miles

Miles – это корпоративно ориентированная система обучения с подкреплением для пост‑тренировки LLM и VLM, форк, созданный и совместно развиваемый со slime.

radixark
⭐ 3,386 Python 👤 radixark Organization 🕐 Обновлено 2026-11-21 📅 Создано 2025-10-09
8
Luce-Org/lucebox

Движок инференса Lucebox для гетерогенного оборудования и потребительских GPU

Luce-Org
⭐ 3,024 C++ 👤 Luce-Org Organization 🕐 Обновлено 2026-11-21 📅 Создано 2026-04-03
9
syv-ai/HyperQwen

Быстро обслуживайте большие модели Qwen на тех GPU, которыми вы действительно располагаете. Qwen3.8-27B на одной карте объёмом 24 ГБ с vLLM: 127 ток/с для одного пользователя (381, когда ответ цитирует промпт), около 1 035 ток/с при 64 одновременных запросах, контекст 150k–262k. Патчи для vLLM, конвейер повторной квантизации и бенчмарки.

syv-ai
⭐ 2,778 Python 👤 syv-ai Organization 🕐 Обновлено 2026-11-10 📅 Создано 2026-08-15
10
youssofal/MTPLX

Самый быстрый способ запускать Qwen 3.8 Flash Next, Qwen 3.8 27B и Ternary Bonsai 2 27B на Mac: 125 токенов/с в OpenCode на M5 Max и модель 27B на Mac с 16 ГБ памяти. Нативное спекулятивное декодирование MTP на Apple Silicon, точность при любой температуре. Локальный сервер, совместимый с OpenAI и Anthropic.

youssofal
⭐ 2,729 Python 👤 youssofal User 🕐 Обновлено 2026-11-21 📅 Создано 2026-05-02
11
incoai/splash

Локальный движок инференса для Apple Silicon, созданный вокруг модели.

incoai
⭐ 2,591 C++ 👤 incoai Organization 🕐 Обновлено 2026-11-17 📅 Создано 2026-09-18
12
SafeAILab/EAGLE

Официальная реализация EAGLE-1 (ICML'24), EAGLE-2 (EMNLP'24) и EAGLE-3 (NeurIPS'25).

SafeAILab
⭐ 2,581 Python 👤 SafeAILab Organization 🕐 Обновлено 2026-02-20 📅 Создано 2023-12-07
13
dphnAI/sonar

Масштабируемый движок вывода LLM

dphnAI
⭐ 1,911 Python 👤 dphnAI Organization 🕐 Обновлено 2026-11-17 📅 Создано 2023-06-23
14
Tencent/AngelSlim

Инструментарий для сжатия моделей, разработанный для повышения удобства использования, полноты и эффективности.

Tencent
⭐ 1,811 Python 👤 Tencent Organization 🕐 Обновлено 2026-11-20 📅 Создано 2025-07-04
15
sybil-solutions/inference-optimisation-skill

Навык агента для поэтапной оптимизации скорости обслуживания локальных LLM (декодирование, спекулятивное декодирование, префилл, KV, запуск, TTFT) на любом оборудовании и при любой квантовке

sybil-solutions
⭐ 1,425 Python 👤 sybil-solutions Organization 🕐 Обновлено 2026-11-16 📅 Создано 2026-11-16
16
peonist-ai/halogen-flash-server

Локальный инференс с поведением, как у передового API: Qwen3.8-Flash-Next на AMD Strix Halo и небольшие модели для NPU — через API OpenAI и Anthropic на одном порту.

peonist-ai
⭐ 1,412 Shell 👤 peonist-ai Organization 🕐 Обновлено 2026-11-18 📅 Создано 2026-08-26
17
synchopate/llama-modchip

Инференс на CPU без GPU для MoE-моделей размером 30B–284B (Qwen3.8 176.5B сертифицирован в режиме холодного кэша в Cgroup v2 с объёмом 28,26/48,35 ГиБ, DeepSeek-V4 284B, Nemotron-30B) + RouteCrack 2.0.

synchopate
⭐ 1,398 Python 👤 synchopate User 🕐 Обновлено 2026-11-21 📅 Создано 2026-10-29
18
hao-ai-lab/LookaheadDecoding

[ICML 2024] Преодоление последовательной зависимости при выводе LLM с использованием упреждающего декодирования

hao-ai-lab
⭐ 1,337 Python 👤 hao-ai-lab Organization 🕐 Обновлено 2025-03-06 📅 Создано 2023-11-21
19
simplexai-labs/PolyStrata

Запускайте большие ИИ-модели на собственном ПК: Qwen3.8-Flash-Next на движке Strata, а GLM 5.3 Flash, DeepSeek V4 Flash, LFM2.5, Qwen3.6, Ornith 1.5, Gemma 4, Tiel Coder и MiniCPM-V — на втором движке, созданном для PolyStrata. Установка в один клик для Windows и Linux, API OpenAI/Anthropic на localhost.

simplexai-labs
⭐ 1,324 C++ 👤 simplexai-labs Organization 🕐 Обновлено 2026-11-18 📅 Создано 2026-10-06
20
hemingkx/SpeculativeDecodingPapers

📰 Обязательные к прочтению статьи и блоги по спекулятивному декодированию ⚡️

hemingkx
⭐ 1,309 👤 hemingkx User 🕐 Обновлено 2026-06-27 📅 Создано 2023-09-20
21
eagle-hq/EAGLE-4

Официальный код инференса EAGLE-4

eagle-hq
⭐ 1,220 Python 👤 eagle-hq Organization 🕐 Обновлено 2026-11-13 📅 Создано 2026-10-20
22
StayLameBro/backburner

Ваш iPhone помогает Mac запускать модель на 27 млрд параметров: более быстрое чтение промптов и больший контекст через кабель USB-C

StayLameBro
⭐ 1,195 Python 👤 StayLameBro User 🕐 Обновлено 2026-11-07 📅 Создано 2026-10-01
23
vllm-project/speculators

Единая библиотека для создания, оценки и хранения алгоритмов спекулятивного декодирования для LLM-инференса в vLLM

vllm-project
⭐ 972 Python 👤 vllm-project Organization 🕐 Обновлено 2026-11-20 📅 Создано 2025-04-08
24
chrisliu298/awesome-on-policy-distillation

Курируемая коллекция статей, технических отчетов, фреймворков и инструментов для дистилляции по политике (OPD) больших языковых моделей

chrisliu298
⭐ 926 👤 chrisliu298 User 🕐 Обновлено 2026-10-06 📅 Создано 2026-03-22
25
feifeibear/LLMSpeculativeSampling

Быстрый вывод больших языковых моделей с помощью спекулятивного декодирования

feifeibear
⭐ 875 Python 👤 feifeibear User 🕐 Обновлено 2024-08-22 📅 Создано 2023-08-16
26
nace-ai/kapitsa

Сверхбыстрый движок инференса для Apple Silicon, оптимизированный для Qwen и Nemotron. Совместим с API OpenAI и Anthropic. Создан командой nace.ai.

nace-ai
⭐ 840 C++ 👤 nace-ai Organization 🕐 Обновлено 2026-11-21 📅 Создано 2026-10-16
27
ARahim3/kaggle-tpu-lab

Открытые модели передового уровня на бесплатной TPU Kaggle v5e-8: GLM-5.3-Flash 320B MoE (~165 токенов/с, на нашем собственном движке JAX) и Qwen3.8-27B bf16 (~130 токенов/с), контекст 262k и кэширование префиксов. Работает с Claude Code, Codex, opencode и pi.

ARahim3
⭐ 812 Python 👤 ARahim3 User 🕐 Обновлено 2026-10-06 📅 Создано 2026-08-31
28
ARahim3/mlx-dspark

Декодирование LLM на Apple Silicon до 4× быстрее, без потери качества. Нативный порт на MLX спекулятивного декодирования DSpark от DeepSeek и DFlash от z-lab — Gemma-4, Qwen3.8, Muse-Glimmer, Nemotron, LFM2.5, Ornith-1.0 и тернарная Bonsai-27B.

ARahim3
⭐ 743 Python 👤 ARahim3 User 🕐 Обновлено 2026-11-08 📅 Создано 2026-06-29
29
prabanta-dev/janas

37 ток/с на Qwen3-Next-80B (48 ГБ) на ноутбуке с 32 ГБ памяти; 24 ток/с без черновой генерации против 2,8 у llama.cpp; скорость чтения — 62 против 16 ток/с. Быстрее llama.cpp на всех 13 моделях, сравнивавшихся в Q4_K_M. Запускайте LLM, превышающие объём вашей RAM, на чистом C — на CPU или GPU.

prabanta-dev
⭐ 738 C 👤 prabanta-dev Organization 🕐 Обновлено 2026-11-20 📅 Создано 2026-09-20
30
Avarok-Cybersecurity/atlas

Чистый движок вывода на Rust

Avarok-Cybersecurity
⭐ 737 Rust 👤 Avarok-Cybersecurity Organization 🕐 Обновлено 2026-11-16 📅 Создано 2026-05-05
32
MDK8888/GPTFast

Ускорьте ваши Hugging Face Transformers в 7,6-9 раз. Нативно для Hugging Face и PyTorch.

MDK8888
⭐ 687 Python 👤 MDK8888 User 🕐 Обновлено 2024-08-22 📅 Создано 2024-02-18
33
Nehanth/pooled

P2P-инференс LLM в браузере: объединяйте свои устройства, чтобы запускать большие открытые модели для чат- и кодинговых агентов.

Nehanth
⭐ 658 JavaScript 👤 Nehanth User 🕐 Обновлено 2026-11-03 📅 Создано 2026-09-01
35
zengxiao-he/tessera

От учителя к плиткам — движок дистилляции и обслуживания LLM, созданный с нуля: пользовательские ядра Triton/CUDA, дистилляция FSDP, пакетная обработка с непрерывным KV-кэшированием, спекулятивное декодирование, шлюз на Rust, оракул JAX и инструменты интерпретируемости.

zengxiao-he
⭐ 556 Python 👤 zengxiao-he User 🕐 Обновлено 2026-10-09 📅 Создано 2026-06-05
36
turboderp-org/exui

Веб-интерфейс для ExLlamaV2

turboderp-org
⭐ 513 JavaScript 👤 turboderp-org Organization 🕐 Обновлено 2025-02-05 📅 Создано 2023-10-29
37
AEON-7/Qwen3.6-27B-AEON-Ultimate-Uncensored-DFlash

Полностью нецензурированная версия Qwen3.6-27B с расширенными возможностями, полученная методом abliteration. Спекулятивное декодирование NVFP4 + z-lab DFlash (n=12) в унифицированном контейнере ghcr.io/aeon-7/aeon-vllm-ultimate:latest, настроенное на высокую приемку черновиков при длинном контексте на DGX Spark. 6 вариантов HF (BF16/NVFP4/MTP/MTP-XS), docker-compose и QuickStart.

AEON-7
⭐ 501 Python 👤 AEON-7 User 🕐 Обновлено 2026-11-13 📅 Создано 2026-04-25

Часто задаваемые вопросы

1

Какой репозиторий по теме #speculative-decoding наиболее популярен на GitHub?

Самый высоко оценённый проект с открытым исходным кодом по теме #speculative-decoding на GitHub — OpenBMB/MiniCPM, набравший 11,898 звёзд. MiniCPM5: передовые LLM на устройстве — маленькие, но мощные.

2

Какие языки программирования чаще всего используются в репозиториях по теме #speculative-decoding?

Среди наиболее высоко оценённых проектов по теме #speculative-decoding на GitHub чаще всего используются языки программирования Python, C++, Jupyter Notebook, JavaScript.

3

Как рассчитывается рейтинг репозиториев по теме #speculative-decoding?

Мы отслеживаем 37 активных репозиториев с открытым исходным кодом, отмеченных тегом #speculative-decoding (500 и более звёзд), с общим числом 83,160 звёзд и в среднем 2,247 звёзд на репозиторий. Рейтинги обновляются ежедневно на основе данных GitHub API.