#speculative-decoding Repositorios
Descubre 37 repositorios activos de código abierto de GitHub etiquetados con #speculative-decoding, que acumulan 83,160 estrellas en total (una media de 2,247 estrellas por proyecto). El líder de este tema es OpenBMB/MiniCPM, con 11,898 estrellas.
37 repositorios en total
Este es un sencillo proyecto de tutorial técnico科普, centrado principalmente en explicar conceptos y principios tecnológicos interesantes y de vanguardia. Cada artículo se esfuerza por completarse en 5 minutos de lectura.
Generación de texto Transformer simple y eficiente, nativa de Pytorch, en <1000 LOC de Python.
Una biblioteca unificada de técnicas de optimización de modelos SOTA como cuantización, destilación, poda, búsqueda de arquitectura neuronal, decodificación especulativa, etc. Comprime modelos de aprendizaje profundo para marcos de despliegue posteriores como TensorRT-LLM, TensorRT, vLLM, etc., para optimizar la velocidad de inferencia.
Rapid-MLX es un servidor de inferencia de LLM de código abierto (Apache 2.0) para Apple Silicon, compatible con OpenAI y Anthropic, desarrollado sobre MLX y centrado en ofrecer llamadas a herramientas fiables para agentes de programación. Hasta 4 veces más rápido que MLX (mlx-lm) de Apple con los mismos pesos.
Miles es un marco de aprendizaje por refuerzo orientado a empresas para el post-entrenamiento de LLM y VLM, derivado de y co-evolucionando con slime.
Ejecuta modelos Qwen grandes rápidamente en las GPU que realmente tienes. Qwen3.8-27B en una sola tarjeta de 24 GB con vLLM: 127 tok/s para un solo usuario (381 cuando la respuesta cita el prompt), aproximadamente 1.035 tok/s con 64 solicitudes concurrentes y un contexto de 150k–262k. Parches para vLLM, canalización de requantización y benchmarks.
La forma más rápida de ejecutar Qwen 3.8 Flash Next, Qwen 3.8 27B y Ternary Bonsai 2 27B en un Mac: 125 tokens/s en OpenCode con un M5 Max, y un modelo 27B en Macs con 16 GB. Decodificación especulativa MTP nativa en Apple Silicon, exacta con cualquier temperatura. Servidor local compatible con OpenAI y Anthropic.
Implementación oficial de EAGLE-1 (ICML'24), EAGLE-2 (EMNLP'24) y EAGLE-3 (NeurIPS'25).
Kit de herramientas de compresión de modelos diseñado para una mayor usabilidad, exhaustividad y eficiencia.
Habilidad de agente para optimizar iterativamente la velocidad de servicio de LLM locales (decodificación, decodificación especulativa, prefill, KV, inicio y TTFT) en cualquier hardware y con cualquier cuantización
Inferencia local con un comportamiento similar al de una API de vanguardia: Qwen3.8-Flash-Next en AMD Strix Halo, junto con pequeños modelos NPU, a través de las API de OpenAI y Anthropic en un mismo puerto.
Inferencia en CPU sin GPU para modelos MoE de 30B–284B (Qwen3.8 176.5B certificado con caché fría en Cgroup v2 de 28,26/48,35 GiB, DeepSeek-V4 284B, Nemotron-30B) + RouteCrack 2.0.
[ICML 2024] Romper la dependencia secuencial de la inferencia de LLM utilizando la decodificación anticipada
Ejecuta grandes modelos de IA en tu propio PC: Qwen3.8-Flash-Next con el motor de Strata, y GLM 5.3 Flash, DeepSeek V4 Flash, LFM2.5, Qwen3.6, Ornith 1.5, Gemma 4, Tiel Coder y MiniCPM-V con un segundo motor creado para PolyStrata. Instalación con un clic para Windows y Linux, con una API de OpenAI/Anthropic en localhost.
📰 Artículos y blogs de lectura obligatoria sobre Decodificación Especulativa ⚡️
Tu iPhone ayuda a tu Mac a ejecutar un modelo de 27B: lectura más rápida de las indicaciones y más contexto mediante un cable USB-C
Una biblioteca unificada para construir, evaluar y almacenar algoritmos de decodificación especulativa para la inferencia de LLM en vLLM
Una colección curada de artículos, informes técnicos, marcos y herramientas para la destilación en política (OPD) de modelos de lenguaje grandes
Inferencia rápida de modelos de lenguaje grandes a través de decodificación especulativa
Motor de inferencia ultrarrápido para Apple Silicon, optimizado para Qwen y Nemotron. Compatible con las API de OpenAI y Anthropic. Creado por el equipo de nace.ai
Modelos abiertos de nivel frontera en una TPU v5e-8 gratuita de Kaggle: GLM-5.3-Flash 320B MoE (~165 tokens/s, con nuestro propio motor JAX) y Qwen3.8-27B bf16 (~130 tokens/s), contexto de 262k y caché de prefijos. Funciona con Claude Code, Codex, opencode y pi.
Decodificación de LLM hasta 4× más rápida en Apple Silicon, sin pérdidas. Port nativo para MLX de la decodificación especulativa DSpark de DeepSeek y DFlash de z-lab — Gemma-4, Qwen3.8, Muse-Glimmer, Nemotron, LFM2.5, Ornith-1.0 y Bonsai-27B ternario.
37 tok/s con Qwen3-Next-80B (48 GB) en un portátil de 32 GB; 24 sin borradores, frente a 2,8 con llama.cpp; lectura a 62 frente a 16 tok/s. Más rápido que llama.cpp en los 13 modelos comparados en Q4_K_M. LLM más grandes que tu RAM, en C puro, para CPU o GPU.
Acelera tus Hugging Face Transformers 7.6-9x. Nativo para Hugging Face y PyTorch.
Inferencia de LLM entre pares en el navegador: agrupa tus dispositivos para ejecutar grandes modelos abiertos destinados a agentes de chat y programación.
De maestro a mosaicos — un motor de destilación y servicio de LLM desde cero: kernels personalizados de Triton/CUDA, destilación FSDP, procesamiento por lotes continuo con KV paginado, decodificación especulativa, una puerta de enlace en Rust, un oráculo JAX y herramientas de interpretabilidad.
Ablación totalmente sin censura y con capacidades mejoradas de Qwen3.6-27B. Decodificación especulativa NVFP4 + z-lab DFlash (n=12) en el contenedor unificado ghcr.io/aeon-7/aeon-vllm-ultimate:latest, optimizada para la aceptación de borradores en contextos largos en DGX Spark. 6 variantes de HF (BF16/NVFP4/MTP/MTP-XS), docker-compose y guía de inicio rápido.
Preguntas frecuentes
¿Cuál es el repositorio de #speculative-decoding más popular en GitHub?
El proyecto de código abierto de #speculative-decoding mejor posicionado en GitHub es OpenBMB/MiniCPM, con 11,898 estrellas. MiniCPM5: LLMs de vanguardia en el dispositivo, pequeños pero potentes.
¿Qué lenguajes de programación se utilizan más en los repositorios de #speculative-decoding?
Entre los proyectos de #speculative-decoding mejor posicionados en GitHub, los lenguajes de programación más comunes son Python, C++, Jupyter Notebook, JavaScript.
¿Cómo se calcula la clasificación de los repositorios de #speculative-decoding?
Seguimos 37 repositorios activos de código abierto etiquetados con #speculative-decoding (500+ estrellas), que suman un total de 83,160 estrellas, con una media de 2,247 estrellas por repositorio. Las clasificaciones se actualizan diariamente a partir de la API de GitHub.