#speculative-decoding Репозитории
Откройте для себя 37 активных репозиториев с открытым исходным кодом на GitHub, отмеченных тегом #speculative-decoding, с общим числом 83,160 звёзд (в среднем 2,247 на проект). Лидером этой темы является OpenBMB/MiniCPM, набравший 11,898 звёзд.
Всего репозиториев: 37
Это простой проект технического科普-туториала, в основном посвященный объяснению интересных, передовых технических концепций и принципов. Каждая статья должна быть прочитана за 5 минут.
Простая и эффективная генерация текста Transformer на основе Pytorch менее чем за 1000 строк кода Python.
Единая библиотека методов оптимизации моделей SOTA, таких как квантование, дистилляция, прунинг, поиск нейронных архитектур, спекулятивное декодирование и т. д. Она сжимает модели глубокого обучения для последующих фреймворков развертывания, таких как TensorRT-LLM, TensorRT, vLLM и других, для оптимизации скорости вывода.
Rapid-MLX — это сервер инференса LLM с открытым исходным кодом (Apache 2.0) для Apple Silicon, совместимый с OpenAI и Anthropic, созданный на базе MLX и ориентированный на надёжные вызовы инструментов для программных агентов. До 4 раз быстрее MLX (mlx-lm) от Apple при использовании тех же весов.
Miles – это корпоративно ориентированная система обучения с подкреплением для пост‑тренировки LLM и VLM, форк, созданный и совместно развиваемый со slime.
Быстро обслуживайте большие модели Qwen на тех GPU, которыми вы действительно располагаете. Qwen3.8-27B на одной карте объёмом 24 ГБ с vLLM: 127 ток/с для одного пользователя (381, когда ответ цитирует промпт), около 1 035 ток/с при 64 одновременных запросах, контекст 150k–262k. Патчи для vLLM, конвейер повторной квантизации и бенчмарки.
Самый быстрый способ запускать Qwen 3.8 Flash Next, Qwen 3.8 27B и Ternary Bonsai 2 27B на Mac: 125 токенов/с в OpenCode на M5 Max и модель 27B на Mac с 16 ГБ памяти. Нативное спекулятивное декодирование MTP на Apple Silicon, точность при любой температуре. Локальный сервер, совместимый с OpenAI и Anthropic.
Официальная реализация EAGLE-1 (ICML'24), EAGLE-2 (EMNLP'24) и EAGLE-3 (NeurIPS'25).
Инструментарий для сжатия моделей, разработанный для повышения удобства использования, полноты и эффективности.
Навык агента для поэтапной оптимизации скорости обслуживания локальных LLM (декодирование, спекулятивное декодирование, префилл, KV, запуск, TTFT) на любом оборудовании и при любой квантовке
Локальный инференс с поведением, как у передового API: Qwen3.8-Flash-Next на AMD Strix Halo и небольшие модели для NPU — через API OpenAI и Anthropic на одном порту.
Инференс на CPU без GPU для MoE-моделей размером 30B–284B (Qwen3.8 176.5B сертифицирован в режиме холодного кэша в Cgroup v2 с объёмом 28,26/48,35 ГиБ, DeepSeek-V4 284B, Nemotron-30B) + RouteCrack 2.0.
[ICML 2024] Преодоление последовательной зависимости при выводе LLM с использованием упреждающего декодирования
Запускайте большие ИИ-модели на собственном ПК: Qwen3.8-Flash-Next на движке Strata, а GLM 5.3 Flash, DeepSeek V4 Flash, LFM2.5, Qwen3.6, Ornith 1.5, Gemma 4, Tiel Coder и MiniCPM-V — на втором движке, созданном для PolyStrata. Установка в один клик для Windows и Linux, API OpenAI/Anthropic на localhost.
📰 Обязательные к прочтению статьи и блоги по спекулятивному декодированию ⚡️
Ваш iPhone помогает Mac запускать модель на 27 млрд параметров: более быстрое чтение промптов и больший контекст через кабель USB-C
Единая библиотека для создания, оценки и хранения алгоритмов спекулятивного декодирования для LLM-инференса в vLLM
Курируемая коллекция статей, технических отчетов, фреймворков и инструментов для дистилляции по политике (OPD) больших языковых моделей
Быстрый вывод больших языковых моделей с помощью спекулятивного декодирования
Сверхбыстрый движок инференса для Apple Silicon, оптимизированный для Qwen и Nemotron. Совместим с API OpenAI и Anthropic. Создан командой nace.ai.
Открытые модели передового уровня на бесплатной TPU Kaggle v5e-8: GLM-5.3-Flash 320B MoE (~165 токенов/с, на нашем собственном движке JAX) и Qwen3.8-27B bf16 (~130 токенов/с), контекст 262k и кэширование префиксов. Работает с Claude Code, Codex, opencode и pi.
Декодирование LLM на Apple Silicon до 4× быстрее, без потери качества. Нативный порт на MLX спекулятивного декодирования DSpark от DeepSeek и DFlash от z-lab — Gemma-4, Qwen3.8, Muse-Glimmer, Nemotron, LFM2.5, Ornith-1.0 и тернарная Bonsai-27B.
37 ток/с на Qwen3-Next-80B (48 ГБ) на ноутбуке с 32 ГБ памяти; 24 ток/с без черновой генерации против 2,8 у llama.cpp; скорость чтения — 62 против 16 ток/с. Быстрее llama.cpp на всех 13 моделях, сравнивавшихся в Q4_K_M. Запускайте LLM, превышающие объём вашей RAM, на чистом C — на CPU или GPU.
Ускорьте ваши Hugging Face Transformers в 7,6-9 раз. Нативно для Hugging Face и PyTorch.
P2P-инференс LLM в браузере: объединяйте свои устройства, чтобы запускать большие открытые модели для чат- и кодинговых агентов.
От учителя к плиткам — движок дистилляции и обслуживания LLM, созданный с нуля: пользовательские ядра Triton/CUDA, дистилляция FSDP, пакетная обработка с непрерывным KV-кэшированием, спекулятивное декодирование, шлюз на Rust, оракул JAX и инструменты интерпретируемости.
Полностью нецензурированная версия Qwen3.6-27B с расширенными возможностями, полученная методом abliteration. Спекулятивное декодирование NVFP4 + z-lab DFlash (n=12) в унифицированном контейнере ghcr.io/aeon-7/aeon-vllm-ultimate:latest, настроенное на высокую приемку черновиков при длинном контексте на DGX Spark. 6 вариантов HF (BF16/NVFP4/MTP/MTP-XS), docker-compose и QuickStart.
Часто задаваемые вопросы
Какой репозиторий по теме #speculative-decoding наиболее популярен на GitHub?
Самый высоко оценённый проект с открытым исходным кодом по теме #speculative-decoding на GitHub — OpenBMB/MiniCPM, набравший 11,898 звёзд. MiniCPM5: передовые LLM на устройстве — маленькие, но мощные.
Какие языки программирования чаще всего используются в репозиториях по теме #speculative-decoding?
Среди наиболее высоко оценённых проектов по теме #speculative-decoding на GitHub чаще всего используются языки программирования Python, C++, Jupyter Notebook, JavaScript.
Как рассчитывается рейтинг репозиториев по теме #speculative-decoding?
Мы отслеживаем 37 активных репозиториев с открытым исходным кодом, отмеченных тегом #speculative-decoding (500 и более звёзд), с общим числом 83,160 звёзд и в среднем 2,247 звёзд на репозиторий. Рейтинги обновляются ежедневно на основе данных GitHub API.