Git Stars Git Stars

#speculative-decoding Repositórios

Descubra 37 repositórios ativos de código aberto no GitHub marcados com #speculative-decoding, acumulando um total de 83,160 estrelas (uma média de 2,247 por projeto). O líder deste tópico é OpenBMB/MiniCPM, com 11,898 estrelas.

37
Total de Repositórios
83,160
Total de estrelas
2,247
Média de Estrelas/Repositório

37 repositórios no total

1
OpenBMB/MiniCPM

MiniCPM5: LLMs de ponta no dispositivo, pequenos porém poderosos.

OpenBMB
⭐ 11,898 Jupyter Notebook 👤 OpenBMB Organization 🕐 Atualizado 2026-11-09 📅 Criado 2024-01-29
2
karminski/one-small-step

Este é um projeto simples de tutorial de divulgação científica e técnica, focado principalmente em explicar alguns conceitos e princípios técnicos interessantes e de ponta. Cada artigo deve ser lido em 5 minutos.

karminski
⭐ 7,006 Python 👤 karminski User 🕐 Atualizado 2026-03-08 📅 Criado 2025-01-16
3
z-lab/dflash

DFlash: Difusão de Blocos para Decodificação Especulativa Flash

z-lab
⭐ 6,254 Python 👤 z-lab Organization 🕐 Atualizado 2026-08-18 📅 Criado 2026-01-04
4
meta-pytorch/gpt-fast

Geração de texto transformador nativo de PyTorch, simples e eficiente, em <1000 LOC de Python.

meta-pytorch
⭐ 6,244 Python 👤 meta-pytorch Organization 🕐 Atualizado 2025-08-22 📅 Criado 2023-10-17
5
NVIDIA/Model-Optimizer

Uma biblioteca unificada de técnicas de otimização de modelos SOTA, como quantização, destilação, poda (pruning), busca de arquitetura neural, decodificação especulativa, etc. Ela comprime modelos de aprendizado profundo para frameworks de implantação downstream como TensorRT-LLM, TensorRT, vLLM, etc., para otimizar a velocidade de inferência.

NVIDIA
⭐ 5,646 Python 👤 NVIDIA Organization 🕐 Atualizado 2026-11-21 📅 Criado 2024-04-23
6
raullenchai/Rapid-MLX

Rapid-MLX é um servidor de inferência de LLM de código aberto (Apache 2.0) para Apple Silicon, compatível com OpenAI e Anthropic, desenvolvido com base no MLX e focado em chamadas de ferramentas confiáveis para agentes de programação. Até 4 vezes mais rápido que o MLX (mlx-lm) da Apple usando os mesmos pesos.

raullenchai
⭐ 4,168 Python 👤 raullenchai User 🕐 Atualizado 2026-11-21 📅 Criado 2026-02-25
7
radixark/miles

Miles é um framework de aprendizado por reforço voltado para empresas para o pós-treinamento de LLM e VLM, derivado e co-evoluindo com slime.

radixark
⭐ 3,386 Python 👤 radixark Organization 🕐 Atualizado 2026-11-21 📅 Criado 2025-10-09
8
Luce-Org/lucebox

Motor de inferência Lucebox para hardware heterogêneo e GPUs de consumo

Luce-Org
⭐ 3,024 C++ 👤 Luce-Org Organization 🕐 Atualizado 2026-11-21 📅 Criado 2026-04-03
9
syv-ai/HyperQwen

Execute modelos Qwen grandes rapidamente nas GPUs que você realmente possui. Qwen3.8-27B em uma única placa de 24 GB com vLLM: 127 tok/s para um único usuário (381 quando a resposta cita o prompt), cerca de 1.035 tok/s com 64 requisições simultâneas e contexto de 150k–262k. Patches do vLLM, pipeline de requantização e benchmarks.

syv-ai
⭐ 2,778 Python 👤 syv-ai Organization 🕐 Atualizado 2026-11-10 📅 Criado 2026-08-15
10
youssofal/MTPLX

A forma mais rápida de executar Qwen 3.8 Flash Next, Qwen 3.8 27B e Ternary Bonsai 2 27B em um Mac: 125 tokens/s no OpenCode em um M5 Max e um modelo 27B em Macs com 16 GB. Decodificação especulativa MTP nativa no Apple Silicon, com precisão em qualquer temperatura. Servidor local compatível com OpenAI e Anthropic.

youssofal
⭐ 2,729 Python 👤 youssofal User 🕐 Atualizado 2026-11-21 📅 Criado 2026-05-02
11
incoai/splash

Um mecanismo de inferência local para Apple Silicon, desenvolvido em torno do modelo.

incoai
⭐ 2,591 C++ 👤 incoai Organization 🕐 Atualizado 2026-11-17 📅 Criado 2026-09-18
12
SafeAILab/EAGLE

Implementação oficial do EAGLE-1 (ICML'24), EAGLE-2 (EMNLP'24) e EAGLE-3 (NeurIPS'25).

SafeAILab
⭐ 2,581 Python 👤 SafeAILab Organization 🕐 Atualizado 2026-02-20 📅 Criado 2023-12-07
13
dphnAI/sonar

Mecanismo de inferência de LLM em larga escala

dphnAI
⭐ 1,911 Python 👤 dphnAI Organization 🕐 Atualizado 2026-11-17 📅 Criado 2023-06-23
14
Tencent/AngelSlim

Kit de ferramentas de compressão de modelos projetado para maior usabilidade, abrangência e eficiência.

Tencent
⭐ 1,811 Python 👤 Tencent Organization 🕐 Atualizado 2026-11-20 📅 Criado 2025-07-04
15
sybil-solutions/inference-optimisation-skill

Habilidade de agente para otimizar progressivamente a velocidade de serviço de LLMs locais (decodificação, decodificação especulativa, prefill, KV, inicialização, TTFT) em qualquer hardware e com qualquer quantização

sybil-solutions
⭐ 1,425 Python 👤 sybil-solutions Organization 🕐 Atualizado 2026-11-16 📅 Criado 2026-11-16
16
peonist-ai/halogen-flash-server

Inferência local com comportamento semelhante ao de uma API de ponta: Qwen3.8-Flash-Next no AMD Strix Halo, além de pequenos modelos NPU, pelas APIs da OpenAI e da Anthropic em uma única porta.

peonist-ai
⭐ 1,412 Shell 👤 peonist-ai Organization 🕐 Atualizado 2026-11-18 📅 Criado 2026-08-26
17
synchopate/llama-modchip

Inferência em CPU sem GPU para modelos MoE de 30B–284B (Qwen3.8 176.5B certificado com cache fria no Cgroup v2 com 28,26/48,35 GiB, DeepSeek-V4 284B, Nemotron-30B) + RouteCrack 2.0.

synchopate
⭐ 1,398 Python 👤 synchopate User 🕐 Atualizado 2026-11-21 📅 Criado 2026-10-29
18
hao-ai-lab/LookaheadDecoding

[ICML 2024] Quebre a Dependência Sequencial da Inferência de LLM Usando Decodificação Lookahead

hao-ai-lab
⭐ 1,337 Python 👤 hao-ai-lab Organization 🕐 Atualizado 2025-03-06 📅 Criado 2023-11-21
19
simplexai-labs/PolyStrata

Execute grandes modelos de IA no seu próprio PC: Qwen3.8-Flash-Next no mecanismo da Strata e GLM 5.3 Flash, DeepSeek V4 Flash, LFM2.5, Qwen3.6, Ornith 1.5, Gemma 4, Tiel Coder e MiniCPM-V em um segundo mecanismo desenvolvido para a PolyStrata. Instalação com um clique para Windows e Linux, com API OpenAI/Anthropic no localhost.

simplexai-labs
⭐ 1,324 C++ 👤 simplexai-labs Organization 🕐 Atualizado 2026-11-18 📅 Criado 2026-10-06
20
hemingkx/SpeculativeDecodingPapers

📰 Artigos e blogs imperdíveis sobre Decodificação Especulativa ⚡️

hemingkx
⭐ 1,309 👤 hemingkx User 🕐 Atualizado 2026-06-27 📅 Criado 2023-09-20
21
eagle-hq/EAGLE-4

Código oficial de inferência do EAGLE-4

eagle-hq
⭐ 1,220 Python 👤 eagle-hq Organization 🕐 Atualizado 2026-11-13 📅 Criado 2026-10-20
22
StayLameBro/backburner

Seu iPhone ajuda o Mac a executar um modelo de 27 bilhões de parâmetros: leitura mais rápida dos prompts e mais contexto por meio de um cabo USB-C

StayLameBro
⭐ 1,195 Python 👤 StayLameBro User 🕐 Atualizado 2026-11-07 📅 Criado 2026-10-01
23
vllm-project/speculators

Uma biblioteca unificada para construir, avaliar e armazenar algoritmos de decodificação especulativa para inferência de LLM no vLLM

vllm-project
⭐ 972 Python 👤 vllm-project Organization 🕐 Atualizado 2026-11-20 📅 Criado 2025-04-08
24
chrisliu298/awesome-on-policy-distillation

Uma coleção curada de artigos, relatórios técnicos, frameworks e ferramentas para destilação on-policy (OPD) de grandes modelos de linguagem

chrisliu298
⭐ 926 👤 chrisliu298 User 🕐 Atualizado 2026-10-06 📅 Criado 2026-03-22
25
feifeibear/LLMSpeculativeSampling

Inferência rápida de grandes modelos de linguagem via decodificação especulativa

feifeibear
⭐ 875 Python 👤 feifeibear User 🕐 Atualizado 2024-08-22 📅 Criado 2023-08-16
26
nace-ai/kapitsa

Motor de inferência ultrarrápido para Apple Silicon, otimizado para Qwen e Nemotron. Compatível com as APIs da OpenAI e da Anthropic. Desenvolvido pela equipe da nace.ai

nace-ai
⭐ 840 C++ 👤 nace-ai Organization 🕐 Atualizado 2026-11-21 📅 Criado 2026-10-16
27
ARahim3/kaggle-tpu-lab

Modelos abertos de nível de fronteira em uma TPU v5e-8 gratuita da Kaggle: GLM-5.3-Flash 320B MoE (~165 tokens/s, com nosso próprio mecanismo JAX) e Qwen3.8-27B bf16 (~130 tokens/s), contexto de 262k e cache de prefixos. Funciona com Claude Code, Codex, opencode e pi.

ARahim3
⭐ 812 Python 👤 ARahim3 User 🕐 Atualizado 2026-10-06 📅 Criado 2026-08-31
28
ARahim3/mlx-dspark

Decodificação de LLM até 4× mais rápida no Apple Silicon, sem perdas. Port nativo para MLX da decodificação especulativa DSpark da DeepSeek e DFlash da z-lab — Gemma-4, Qwen3.8, Muse-Glimmer, Nemotron, LFM2.5, Ornith-1.0 e Bonsai-27B ternário.

ARahim3
⭐ 743 Python 👤 ARahim3 User 🕐 Atualizado 2026-11-08 📅 Criado 2026-06-29
29
prabanta-dev/janas

37 tok/s com Qwen3-Next-80B (48 GB) num portátil com 32 GB; 24 sem rascunhos, contra 2,8 com llama.cpp; leitura a 62 contra 16 tok/s. Mais rápido que llama.cpp em todos os 13 modelos comparados em Q4_K_M. LLMs maiores do que a sua RAM, em C puro, para CPU ou GPU.

prabanta-dev
⭐ 738 C 👤 prabanta-dev Organization 🕐 Atualizado 2026-11-20 📅 Criado 2026-09-20
30
Avarok-Cybersecurity/atlas

Motor de inferência puro em Rust

Avarok-Cybersecurity
⭐ 737 Rust 👤 Avarok-Cybersecurity Organization 🕐 Atualizado 2026-11-16 📅 Criado 2026-05-05
32
MDK8888/GPTFast

Acelere seus Hugging Face Transformers 7.6-9x. Nativo do Hugging Face e PyTorch.

MDK8888
⭐ 687 Python 👤 MDK8888 User 🕐 Atualizado 2024-08-22 📅 Criado 2024-02-18
33
Nehanth/pooled

Inferência de LLM ponto a ponto no navegador: reúna seus dispositivos para executar grandes modelos abertos destinados a agentes de chat e programação.

Nehanth
⭐ 658 JavaScript 👤 Nehanth User 🕐 Atualizado 2026-11-03 📅 Criado 2026-09-01
35
zengxiao-he/tessera

Do professor aos blocos — um mecanismo de destilação e serviço de LLM construído do zero: kernels Triton/CUDA personalizados, destilação FSDP, processamento em lote contínuo com KV paginado, decodificação especulativa, um gateway Rust, um oráculo JAX e ferramentas de interpretabilidade.

zengxiao-he
⭐ 556 Python 👤 zengxiao-he User 🕐 Atualizado 2026-10-09 📅 Criado 2026-06-05
36
turboderp-org/exui

Interface Web para ExLlamaV2

turboderp-org
⭐ 513 JavaScript 👤 turboderp-org Organization 🕐 Atualizado 2025-02-05 📅 Criado 2023-10-29
37
AEON-7/Qwen3.6-27B-AEON-Ultimate-Uncensored-DFlash

Ablation totalmente sem censura e com capacidades aprimoradas do Qwen3.6-27B. Decodificação especulativa NVFP4 + z-lab DFlash (n=12) no contêiner unificado ghcr.io/aeon-7/aeon-vllm-ultimate:latest, otimizada para a aceitação de rascunhos em contextos longos no DGX Spark. 6 variantes HF (BF16/NVFP4/MTP/MTP-XS), docker-compose e QuickStart.

AEON-7
⭐ 501 Python 👤 AEON-7 User 🕐 Atualizado 2026-11-13 📅 Criado 2026-04-25

Perguntas Frequentes

1

Qual é o repositório de #speculative-decoding mais popular no GitHub?

O projeto de código aberto de #speculative-decoding mais bem classificado no GitHub é OpenBMB/MiniCPM, com 11,898 estrelas. MiniCPM5: LLMs de ponta no dispositivo, pequenos porém poderosos.

2

Quais linguagens de programação são mais usadas nos repositórios de #speculative-decoding?

Entre os projetos de #speculative-decoding mais bem classificados no GitHub, as linguagens de programação mais comuns são Python, C++, Jupyter Notebook, JavaScript.

3

Como é calculada a classificação dos repositórios de #speculative-decoding?

Acompanhamos 37 repositórios ativos de código aberto marcados com #speculative-decoding (com mais de 500 estrelas), totalizando 83,160 estrelas e uma média de 2,247 estrelas por repositório. As classificações são atualizadas diariamente a partir da API do GitHub.