#speculative-decoding Repositórios
Descubra 37 repositórios ativos de código aberto no GitHub marcados com #speculative-decoding, acumulando um total de 83,160 estrelas (uma média de 2,247 por projeto). O líder deste tópico é OpenBMB/MiniCPM, com 11,898 estrelas.
37 repositórios no total
Este é um projeto simples de tutorial de divulgação científica e técnica, focado principalmente em explicar alguns conceitos e princípios técnicos interessantes e de ponta. Cada artigo deve ser lido em 5 minutos.
Geração de texto transformador nativo de PyTorch, simples e eficiente, em <1000 LOC de Python.
Uma biblioteca unificada de técnicas de otimização de modelos SOTA, como quantização, destilação, poda (pruning), busca de arquitetura neural, decodificação especulativa, etc. Ela comprime modelos de aprendizado profundo para frameworks de implantação downstream como TensorRT-LLM, TensorRT, vLLM, etc., para otimizar a velocidade de inferência.
Rapid-MLX é um servidor de inferência de LLM de código aberto (Apache 2.0) para Apple Silicon, compatível com OpenAI e Anthropic, desenvolvido com base no MLX e focado em chamadas de ferramentas confiáveis para agentes de programação. Até 4 vezes mais rápido que o MLX (mlx-lm) da Apple usando os mesmos pesos.
Miles é um framework de aprendizado por reforço voltado para empresas para o pós-treinamento de LLM e VLM, derivado e co-evoluindo com slime.
Execute modelos Qwen grandes rapidamente nas GPUs que você realmente possui. Qwen3.8-27B em uma única placa de 24 GB com vLLM: 127 tok/s para um único usuário (381 quando a resposta cita o prompt), cerca de 1.035 tok/s com 64 requisições simultâneas e contexto de 150k–262k. Patches do vLLM, pipeline de requantização e benchmarks.
A forma mais rápida de executar Qwen 3.8 Flash Next, Qwen 3.8 27B e Ternary Bonsai 2 27B em um Mac: 125 tokens/s no OpenCode em um M5 Max e um modelo 27B em Macs com 16 GB. Decodificação especulativa MTP nativa no Apple Silicon, com precisão em qualquer temperatura. Servidor local compatível com OpenAI e Anthropic.
Um mecanismo de inferência local para Apple Silicon, desenvolvido em torno do modelo.
Implementação oficial do EAGLE-1 (ICML'24), EAGLE-2 (EMNLP'24) e EAGLE-3 (NeurIPS'25).
Kit de ferramentas de compressão de modelos projetado para maior usabilidade, abrangência e eficiência.
Habilidade de agente para otimizar progressivamente a velocidade de serviço de LLMs locais (decodificação, decodificação especulativa, prefill, KV, inicialização, TTFT) em qualquer hardware e com qualquer quantização
Inferência local com comportamento semelhante ao de uma API de ponta: Qwen3.8-Flash-Next no AMD Strix Halo, além de pequenos modelos NPU, pelas APIs da OpenAI e da Anthropic em uma única porta.
Inferência em CPU sem GPU para modelos MoE de 30B–284B (Qwen3.8 176.5B certificado com cache fria no Cgroup v2 com 28,26/48,35 GiB, DeepSeek-V4 284B, Nemotron-30B) + RouteCrack 2.0.
[ICML 2024] Quebre a Dependência Sequencial da Inferência de LLM Usando Decodificação Lookahead
Execute grandes modelos de IA no seu próprio PC: Qwen3.8-Flash-Next no mecanismo da Strata e GLM 5.3 Flash, DeepSeek V4 Flash, LFM2.5, Qwen3.6, Ornith 1.5, Gemma 4, Tiel Coder e MiniCPM-V em um segundo mecanismo desenvolvido para a PolyStrata. Instalação com um clique para Windows e Linux, com API OpenAI/Anthropic no localhost.
📰 Artigos e blogs imperdíveis sobre Decodificação Especulativa ⚡️
Seu iPhone ajuda o Mac a executar um modelo de 27 bilhões de parâmetros: leitura mais rápida dos prompts e mais contexto por meio de um cabo USB-C
Uma biblioteca unificada para construir, avaliar e armazenar algoritmos de decodificação especulativa para inferência de LLM no vLLM
Uma coleção curada de artigos, relatórios técnicos, frameworks e ferramentas para destilação on-policy (OPD) de grandes modelos de linguagem
Inferência rápida de grandes modelos de linguagem via decodificação especulativa
Motor de inferência ultrarrápido para Apple Silicon, otimizado para Qwen e Nemotron. Compatível com as APIs da OpenAI e da Anthropic. Desenvolvido pela equipe da nace.ai
Modelos abertos de nível de fronteira em uma TPU v5e-8 gratuita da Kaggle: GLM-5.3-Flash 320B MoE (~165 tokens/s, com nosso próprio mecanismo JAX) e Qwen3.8-27B bf16 (~130 tokens/s), contexto de 262k e cache de prefixos. Funciona com Claude Code, Codex, opencode e pi.
Decodificação de LLM até 4× mais rápida no Apple Silicon, sem perdas. Port nativo para MLX da decodificação especulativa DSpark da DeepSeek e DFlash da z-lab — Gemma-4, Qwen3.8, Muse-Glimmer, Nemotron, LFM2.5, Ornith-1.0 e Bonsai-27B ternário.
37 tok/s com Qwen3-Next-80B (48 GB) num portátil com 32 GB; 24 sem rascunhos, contra 2,8 com llama.cpp; leitura a 62 contra 16 tok/s. Mais rápido que llama.cpp em todos os 13 modelos comparados em Q4_K_M. LLMs maiores do que a sua RAM, em C puro, para CPU ou GPU.
Inferência de LLM ponto a ponto no navegador: reúna seus dispositivos para executar grandes modelos abertos destinados a agentes de chat e programação.
Do professor aos blocos — um mecanismo de destilação e serviço de LLM construído do zero: kernels Triton/CUDA personalizados, destilação FSDP, processamento em lote contínuo com KV paginado, decodificação especulativa, um gateway Rust, um oráculo JAX e ferramentas de interpretabilidade.
Ablation totalmente sem censura e com capacidades aprimoradas do Qwen3.6-27B. Decodificação especulativa NVFP4 + z-lab DFlash (n=12) no contêiner unificado ghcr.io/aeon-7/aeon-vllm-ultimate:latest, otimizada para a aceitação de rascunhos em contextos longos no DGX Spark. 6 variantes HF (BF16/NVFP4/MTP/MTP-XS), docker-compose e QuickStart.
Perguntas Frequentes
Qual é o repositório de #speculative-decoding mais popular no GitHub?
O projeto de código aberto de #speculative-decoding mais bem classificado no GitHub é OpenBMB/MiniCPM, com 11,898 estrelas. MiniCPM5: LLMs de ponta no dispositivo, pequenos porém poderosos.
Quais linguagens de programação são mais usadas nos repositórios de #speculative-decoding?
Entre os projetos de #speculative-decoding mais bem classificados no GitHub, as linguagens de programação mais comuns são Python, C++, Jupyter Notebook, JavaScript.
Como é calculada a classificação dos repositórios de #speculative-decoding?
Acompanhamos 37 repositórios ativos de código aberto marcados com #speculative-decoding (com mais de 500 estrelas), totalizando 83,160 estrelas e uma média de 2,247 estrelas por repositório. As classificações são atualizadas diariamente a partir da API do GitHub.