Git Stars Git Stars

#speculative-decoding Repositorios

Descubre 37 repositorios activos de código abierto de GitHub etiquetados con #speculative-decoding, que acumulan 83,160 estrellas en total (una media de 2,247 estrellas por proyecto). El líder de este tema es OpenBMB/MiniCPM, con 11,898 estrellas.

37
Total de Repositorios
83,160
Total de estrellas
2,247
Promedio de Estrellas/Repo

37 repositorios en total

1
OpenBMB/MiniCPM

MiniCPM5: LLMs de vanguardia en el dispositivo, pequeños pero potentes.

OpenBMB
⭐ 11,898 Jupyter Notebook 👤 OpenBMB Organization 🕐 Actualizado 2026-11-09 📅 Creado 2024-01-29
2
karminski/one-small-step

Este es un sencillo proyecto de tutorial técnico科普, centrado principalmente en explicar conceptos y principios tecnológicos interesantes y de vanguardia. Cada artículo se esfuerza por completarse en 5 minutos de lectura.

karminski
⭐ 7,006 Python 👤 karminski User 🕐 Actualizado 2026-03-08 📅 Creado 2025-01-16
3
z-lab/dflash

DFlash: Difusión de bloques para la decodificación especulativa Flash

z-lab
⭐ 6,254 Python 👤 z-lab Organization 🕐 Actualizado 2026-08-18 📅 Creado 2026-01-04
4
meta-pytorch/gpt-fast

Generación de texto Transformer simple y eficiente, nativa de Pytorch, en <1000 LOC de Python.

meta-pytorch
⭐ 6,244 Python 👤 meta-pytorch Organization 🕐 Actualizado 2025-08-22 📅 Creado 2023-10-17
5
NVIDIA/Model-Optimizer

Una biblioteca unificada de técnicas de optimización de modelos SOTA como cuantización, destilación, poda, búsqueda de arquitectura neuronal, decodificación especulativa, etc. Comprime modelos de aprendizaje profundo para marcos de despliegue posteriores como TensorRT-LLM, TensorRT, vLLM, etc., para optimizar la velocidad de inferencia.

NVIDIA
⭐ 5,646 Python 👤 NVIDIA Organization 🕐 Actualizado 2026-11-21 📅 Creado 2024-04-23
6
raullenchai/Rapid-MLX

Rapid-MLX es un servidor de inferencia de LLM de código abierto (Apache 2.0) para Apple Silicon, compatible con OpenAI y Anthropic, desarrollado sobre MLX y centrado en ofrecer llamadas a herramientas fiables para agentes de programación. Hasta 4 veces más rápido que MLX (mlx-lm) de Apple con los mismos pesos.

raullenchai
⭐ 4,168 Python 👤 raullenchai User 🕐 Actualizado 2026-11-21 📅 Creado 2026-02-25
7
radixark/miles

Miles es un marco de aprendizaje por refuerzo orientado a empresas para el post-entrenamiento de LLM y VLM, derivado de y co-evolucionando con slime.

radixark
⭐ 3,386 Python 👤 radixark Organization 🕐 Actualizado 2026-11-21 📅 Creado 2025-10-09
8
Luce-Org/lucebox

Motor de inferencia Lucebox para hardware heterogéneo y GPU de consumo

Luce-Org
⭐ 3,024 C++ 👤 Luce-Org Organization 🕐 Actualizado 2026-11-21 📅 Creado 2026-04-03
9
syv-ai/HyperQwen

Ejecuta modelos Qwen grandes rápidamente en las GPU que realmente tienes. Qwen3.8-27B en una sola tarjeta de 24 GB con vLLM: 127 tok/s para un solo usuario (381 cuando la respuesta cita el prompt), aproximadamente 1.035 tok/s con 64 solicitudes concurrentes y un contexto de 150k–262k. Parches para vLLM, canalización de requantización y benchmarks.

syv-ai
⭐ 2,778 Python 👤 syv-ai Organization 🕐 Actualizado 2026-11-10 📅 Creado 2026-08-15
10
youssofal/MTPLX

La forma más rápida de ejecutar Qwen 3.8 Flash Next, Qwen 3.8 27B y Ternary Bonsai 2 27B en un Mac: 125 tokens/s en OpenCode con un M5 Max, y un modelo 27B en Macs con 16 GB. Decodificación especulativa MTP nativa en Apple Silicon, exacta con cualquier temperatura. Servidor local compatible con OpenAI y Anthropic.

youssofal
⭐ 2,729 Python 👤 youssofal User 🕐 Actualizado 2026-11-21 📅 Creado 2026-05-02
11
incoai/splash

Un motor de inferencia local para Apple Silicon, creado en torno al modelo.

incoai
⭐ 2,591 C++ 👤 incoai Organization 🕐 Actualizado 2026-11-17 📅 Creado 2026-09-18
12
SafeAILab/EAGLE

Implementación oficial de EAGLE-1 (ICML'24), EAGLE-2 (EMNLP'24) y EAGLE-3 (NeurIPS'25).

SafeAILab
⭐ 2,581 Python 👤 SafeAILab Organization 🕐 Actualizado 2026-02-20 📅 Creado 2023-12-07
13
dphnAI/sonar

Motor de inferencia LLM a gran escala

dphnAI
⭐ 1,911 Python 👤 dphnAI Organization 🕐 Actualizado 2026-11-17 📅 Creado 2023-06-23
14
Tencent/AngelSlim

Kit de herramientas de compresión de modelos diseñado para una mayor usabilidad, exhaustividad y eficiencia.

Tencent
⭐ 1,811 Python 👤 Tencent Organization 🕐 Actualizado 2026-11-20 📅 Creado 2025-07-04
15
sybil-solutions/inference-optimisation-skill

Habilidad de agente para optimizar iterativamente la velocidad de servicio de LLM locales (decodificación, decodificación especulativa, prefill, KV, inicio y TTFT) en cualquier hardware y con cualquier cuantización

sybil-solutions
⭐ 1,425 Python 👤 sybil-solutions Organization 🕐 Actualizado 2026-11-16 📅 Creado 2026-11-16
16
peonist-ai/halogen-flash-server

Inferencia local con un comportamiento similar al de una API de vanguardia: Qwen3.8-Flash-Next en AMD Strix Halo, junto con pequeños modelos NPU, a través de las API de OpenAI y Anthropic en un mismo puerto.

peonist-ai
⭐ 1,412 Shell 👤 peonist-ai Organization 🕐 Actualizado 2026-11-18 📅 Creado 2026-08-26
17
synchopate/llama-modchip

Inferencia en CPU sin GPU para modelos MoE de 30B–284B (Qwen3.8 176.5B certificado con caché fría en Cgroup v2 de 28,26/48,35 GiB, DeepSeek-V4 284B, Nemotron-30B) + RouteCrack 2.0.

synchopate
⭐ 1,398 Python 👤 synchopate User 🕐 Actualizado 2026-11-21 📅 Creado 2026-10-29
18
hao-ai-lab/LookaheadDecoding

[ICML 2024] Romper la dependencia secuencial de la inferencia de LLM utilizando la decodificación anticipada

hao-ai-lab
⭐ 1,337 Python 👤 hao-ai-lab Organization 🕐 Actualizado 2025-03-06 📅 Creado 2023-11-21
19
simplexai-labs/PolyStrata

Ejecuta grandes modelos de IA en tu propio PC: Qwen3.8-Flash-Next con el motor de Strata, y GLM 5.3 Flash, DeepSeek V4 Flash, LFM2.5, Qwen3.6, Ornith 1.5, Gemma 4, Tiel Coder y MiniCPM-V con un segundo motor creado para PolyStrata. Instalación con un clic para Windows y Linux, con una API de OpenAI/Anthropic en localhost.

simplexai-labs
⭐ 1,324 C++ 👤 simplexai-labs Organization 🕐 Actualizado 2026-11-18 📅 Creado 2026-10-06
20
hemingkx/SpeculativeDecodingPapers

📰 Artículos y blogs de lectura obligatoria sobre Decodificación Especulativa ⚡️

hemingkx
⭐ 1,309 👤 hemingkx User 🕐 Actualizado 2026-06-27 📅 Creado 2023-09-20
21
eagle-hq/EAGLE-4

Código oficial de inferencia de EAGLE-4

eagle-hq
⭐ 1,220 Python 👤 eagle-hq Organization 🕐 Actualizado 2026-11-13 📅 Creado 2026-10-20
22
StayLameBro/backburner

Tu iPhone ayuda a tu Mac a ejecutar un modelo de 27B: lectura más rápida de las indicaciones y más contexto mediante un cable USB-C

StayLameBro
⭐ 1,195 Python 👤 StayLameBro User 🕐 Actualizado 2026-11-07 📅 Creado 2026-10-01
23
vllm-project/speculators

Una biblioteca unificada para construir, evaluar y almacenar algoritmos de decodificación especulativa para la inferencia de LLM en vLLM

vllm-project
⭐ 972 Python 👤 vllm-project Organization 🕐 Actualizado 2026-11-20 📅 Creado 2025-04-08
24
chrisliu298/awesome-on-policy-distillation

Una colección curada de artículos, informes técnicos, marcos y herramientas para la destilación en política (OPD) de modelos de lenguaje grandes

chrisliu298
⭐ 926 👤 chrisliu298 User 🕐 Actualizado 2026-10-06 📅 Creado 2026-03-22
25
feifeibear/LLMSpeculativeSampling

Inferencia rápida de modelos de lenguaje grandes a través de decodificación especulativa

feifeibear
⭐ 875 Python 👤 feifeibear User 🕐 Actualizado 2024-08-22 📅 Creado 2023-08-16
26
nace-ai/kapitsa

Motor de inferencia ultrarrápido para Apple Silicon, optimizado para Qwen y Nemotron. Compatible con las API de OpenAI y Anthropic. Creado por el equipo de nace.ai

nace-ai
⭐ 840 C++ 👤 nace-ai Organization 🕐 Actualizado 2026-11-21 📅 Creado 2026-10-16
27
ARahim3/kaggle-tpu-lab

Modelos abiertos de nivel frontera en una TPU v5e-8 gratuita de Kaggle: GLM-5.3-Flash 320B MoE (~165 tokens/s, con nuestro propio motor JAX) y Qwen3.8-27B bf16 (~130 tokens/s), contexto de 262k y caché de prefijos. Funciona con Claude Code, Codex, opencode y pi.

ARahim3
⭐ 812 Python 👤 ARahim3 User 🕐 Actualizado 2026-10-06 📅 Creado 2026-08-31
28
ARahim3/mlx-dspark

Decodificación de LLM hasta 4× más rápida en Apple Silicon, sin pérdidas. Port nativo para MLX de la decodificación especulativa DSpark de DeepSeek y DFlash de z-lab — Gemma-4, Qwen3.8, Muse-Glimmer, Nemotron, LFM2.5, Ornith-1.0 y Bonsai-27B ternario.

ARahim3
⭐ 743 Python 👤 ARahim3 User 🕐 Actualizado 2026-11-08 📅 Creado 2026-06-29
29
prabanta-dev/janas

37 tok/s con Qwen3-Next-80B (48 GB) en un portátil de 32 GB; 24 sin borradores, frente a 2,8 con llama.cpp; lectura a 62 frente a 16 tok/s. Más rápido que llama.cpp en los 13 modelos comparados en Q4_K_M. LLM más grandes que tu RAM, en C puro, para CPU o GPU.

prabanta-dev
⭐ 738 C 👤 prabanta-dev Organization 🕐 Actualizado 2026-11-20 📅 Creado 2026-09-20
30
Avarok-Cybersecurity/atlas

Motor de inferencia puro en Rust

Avarok-Cybersecurity
⭐ 737 Rust 👤 Avarok-Cybersecurity Organization 🕐 Actualizado 2026-11-16 📅 Creado 2026-05-05
32
MDK8888/GPTFast

Acelera tus Hugging Face Transformers 7.6-9x. Nativo para Hugging Face y PyTorch.

MDK8888
⭐ 687 Python 👤 MDK8888 User 🕐 Actualizado 2024-08-22 📅 Creado 2024-02-18
33
Nehanth/pooled

Inferencia de LLM entre pares en el navegador: agrupa tus dispositivos para ejecutar grandes modelos abiertos destinados a agentes de chat y programación.

Nehanth
⭐ 658 JavaScript 👤 Nehanth User 🕐 Actualizado 2026-11-03 📅 Creado 2026-09-01
35
zengxiao-he/tessera

De maestro a mosaicos — un motor de destilación y servicio de LLM desde cero: kernels personalizados de Triton/CUDA, destilación FSDP, procesamiento por lotes continuo con KV paginado, decodificación especulativa, una puerta de enlace en Rust, un oráculo JAX y herramientas de interpretabilidad.

zengxiao-he
⭐ 556 Python 👤 zengxiao-he User 🕐 Actualizado 2026-10-09 📅 Creado 2026-06-05
36
turboderp-org/exui

Interfaz web para ExLlamaV2

turboderp-org
⭐ 513 JavaScript 👤 turboderp-org Organization 🕐 Actualizado 2025-02-05 📅 Creado 2023-10-29
37
AEON-7/Qwen3.6-27B-AEON-Ultimate-Uncensored-DFlash

Ablación totalmente sin censura y con capacidades mejoradas de Qwen3.6-27B. Decodificación especulativa NVFP4 + z-lab DFlash (n=12) en el contenedor unificado ghcr.io/aeon-7/aeon-vllm-ultimate:latest, optimizada para la aceptación de borradores en contextos largos en DGX Spark. 6 variantes de HF (BF16/NVFP4/MTP/MTP-XS), docker-compose y guía de inicio rápido.

AEON-7
⭐ 501 Python 👤 AEON-7 User 🕐 Actualizado 2026-11-13 📅 Creado 2026-04-25

Preguntas frecuentes

1

¿Cuál es el repositorio de #speculative-decoding más popular en GitHub?

El proyecto de código abierto de #speculative-decoding mejor posicionado en GitHub es OpenBMB/MiniCPM, con 11,898 estrellas. MiniCPM5: LLMs de vanguardia en el dispositivo, pequeños pero potentes.

2

¿Qué lenguajes de programación se utilizan más en los repositorios de #speculative-decoding?

Entre los proyectos de #speculative-decoding mejor posicionados en GitHub, los lenguajes de programación más comunes son Python, C++, Jupyter Notebook, JavaScript.

3

¿Cómo se calcula la clasificación de los repositorios de #speculative-decoding?

Seguimos 37 repositorios activos de código abierto etiquetados con #speculative-decoding (500+ estrellas), que suman un total de 83,160 estrellas, con una media de 2,247 estrellas por repositorio. Las clasificaciones se actualizan diariamente a partir de la API de GitHub.