Git Stars Git Stars

#speculative-decoding Repository

Scopri 37 repository GitHub open source attivi contrassegnati con #speculative-decoding, che raccolgono un totale di 83,160 stelle (con una media di 2,247 stelle per progetto). Il progetto leader di questo argomento è OpenBMB/MiniCPM, con 11,898 stelle.

37
Totale Repository
83,160
Totale stelle
2,247
Media Stelle/Repo

37 repository in totale

1
OpenBMB/MiniCPM

MiniCPM5: LLM all'avanguardia sul dispositivo, piccoli ma potenti.

OpenBMB
⭐ 11,898 Jupyter Notebook 👤 OpenBMB Organization 🕐 Aggiornato 2026-11-09 📅 Creato 2024-01-29
2
karminski/one-small-step

Questo è un semplice progetto di tutorial tecnico科普, focalizzato principalmente sulla spiegazione di concetti e principi tecnologici interessanti e all'avanguardia. Ogni articolo si sforza di essere completato in 5 minuti di lettura.

karminski
⭐ 7,006 Python 👤 karminski User 🕐 Aggiornato 2026-03-08 📅 Creato 2025-01-16
3
z-lab/dflash

DFlash: Diffusione di blocchi per la decodifica speculativa Flash

z-lab
⭐ 6,254 Python 👤 z-lab Organization 🕐 Aggiornato 2026-08-18 📅 Creato 2026-01-04
4
meta-pytorch/gpt-fast

Generazione di testo Transformer semplice ed efficiente, nativa di Pytorch, in <1000 LOC di Python.

meta-pytorch
⭐ 6,244 Python 👤 meta-pytorch Organization 🕐 Aggiornato 2025-08-22 📅 Creato 2023-10-17
5
NVIDIA/Model-Optimizer

Una libreria unificata di tecniche di ottimizzazione dei modelli SOTA come quantizzazione, distillazione, pruning, ricerca di architetture neurali, decodifica speculativa, ecc. Comprime i modelli di deep learning per framework di distribuzione a valle come TensorRT-LLM, TensorRT, vLLM, ecc., per ottimizzare la velocità di inferenza.

NVIDIA
⭐ 5,646 Python 👤 NVIDIA Organization 🕐 Aggiornato 2026-11-21 📅 Creato 2024-04-23
6
raullenchai/Rapid-MLX

Rapid-MLX è un server di inferenza LLM open source (Apache 2.0) per Apple Silicon, compatibile con OpenAI e Anthropic, basato su MLX e progettato per offrire chiamate agli strumenti affidabili agli agenti di programmazione. Fino a 4 volte più veloce di MLX (mlx-lm) di Apple con gli stessi pesi.

raullenchai
⭐ 4,168 Python 👤 raullenchai User 🕐 Aggiornato 2026-11-21 📅 Creato 2026-02-25
7
radixark/miles

Miles è un framework di reinforcement learning orientato alle imprese per la post-allenamento di LLM e VLM, derivato da e co-evolvendosi con slime.

radixark
⭐ 3,386 Python 👤 radixark Organization 🕐 Aggiornato 2026-11-21 📅 Creato 2025-10-09
8
Luce-Org/lucebox

Motore di inferenza Lucebox per hardware eterogeneo e GPU consumer

Luce-Org
⭐ 3,024 C++ 👤 Luce-Org Organization 🕐 Aggiornato 2026-11-21 📅 Creato 2026-04-03
9
syv-ai/HyperQwen

Esegui rapidamente modelli Qwen di grandi dimensioni sulle GPU che possiedi davvero. Qwen3.8-27B su una singola scheda da 24 GB con vLLM: 127 tok/s per un singolo utente (381 quando la risposta cita il prompt), circa 1.035 tok/s con 64 richieste simultanee e un contesto di 150k–262k. Patch per vLLM, pipeline di requantizzazione e benchmark.

syv-ai
⭐ 2,778 Python 👤 syv-ai Organization 🕐 Aggiornato 2026-11-10 📅 Creato 2026-08-15
10
youssofal/MTPLX

Il modo più veloce per eseguire Qwen 3.8 Flash Next, Qwen 3.8 27B e Ternary Bonsai 2 27B su un Mac: 125 token/s in OpenCode su un M5 Max e un modello 27B sui Mac con 16 GB. Decodifica speculativa MTP nativa su Apple Silicon, accurata a qualsiasi temperatura. Server locale compatibile con OpenAI e Anthropic.

youssofal
⭐ 2,729 Python 👤 youssofal User 🕐 Aggiornato 2026-11-21 📅 Creato 2026-05-02
11
incoai/splash

Un motore di inferenza locale per Apple Silicon, progettato attorno al modello.

incoai
⭐ 2,591 C++ 👤 incoai Organization 🕐 Aggiornato 2026-11-17 📅 Creato 2026-09-18
12
SafeAILab/EAGLE

Implementazione ufficiale di EAGLE-1 (ICML'24), EAGLE-2 (EMNLP'24) e EAGLE-3 (NeurIPS'25).

SafeAILab
⭐ 2,581 Python 👤 SafeAILab Organization 🕐 Aggiornato 2026-02-20 📅 Creato 2023-12-07
13
dphnAI/sonar

Motore di inferenza LLM su larga scala

dphnAI
⭐ 1,911 Python 👤 dphnAI Organization 🕐 Aggiornato 2026-11-17 📅 Creato 2023-06-23
14
Tencent/AngelSlim

Toolkit di compressione dei modelli progettato per una maggiore usabilità, completezza ed efficienza.

Tencent
⭐ 1,811 Python 👤 Tencent Organization 🕐 Aggiornato 2026-11-20 📅 Creato 2025-07-04
15
sybil-solutions/inference-optimisation-skill

Competenza dell’agente per ottimizzare progressivamente la velocità di servizio degli LLM locali (decodifica, decodifica speculativa, prefill, KV, avvio, TTFT) su qualsiasi hardware e con qualsiasi quantizzazione

sybil-solutions
⭐ 1,425 Python 👤 sybil-solutions Organization 🕐 Aggiornato 2026-11-16 📅 Creato 2026-11-16
16
peonist-ai/halogen-flash-server

Inferenza locale con un comportamento simile a quello di un’API all’avanguardia: Qwen3.8-Flash-Next su AMD Strix Halo, insieme a piccoli modelli NPU, tramite le API di OpenAI e Anthropic su un’unica porta.

peonist-ai
⭐ 1,412 Shell 👤 peonist-ai Organization 🕐 Aggiornato 2026-11-18 📅 Creato 2026-08-26
17
synchopate/llama-modchip

Inferenza su CPU senza GPU per modelli MoE da 30B a 284B (Qwen3.8 176.5B certificato con cache fredda in Cgroup v2 a 28,26/48,35 GiB, DeepSeek-V4 284B, Nemotron-30B) + RouteCrack 2.0.

synchopate
⭐ 1,398 Python 👤 synchopate User 🕐 Aggiornato 2026-11-21 📅 Creato 2026-10-29
18
hao-ai-lab/LookaheadDecoding

[ICML 2024] Interrompere la dipendenza sequenziale dell'inferenza LLM utilizzando la decodifica lookahead

hao-ai-lab
⭐ 1,337 Python 👤 hao-ai-lab Organization 🕐 Aggiornato 2025-03-06 📅 Creato 2023-11-21
19
simplexai-labs/PolyStrata

Esegui modelli di IA di grandi dimensioni sul tuo PC: Qwen3.8-Flash-Next con il motore di Strata e GLM 5.3 Flash, DeepSeek V4 Flash, LFM2.5, Qwen3.6, Ornith 1.5, Gemma 4, Tiel Coder e MiniCPM-V con un secondo motore progettato per PolyStrata. Installazione con un clic per Windows e Linux, con API OpenAI/Anthropic su localhost.

simplexai-labs
⭐ 1,324 C++ 👤 simplexai-labs Organization 🕐 Aggiornato 2026-11-18 📅 Creato 2026-10-06
20
hemingkx/SpeculativeDecodingPapers

📰 Articoli e blog imperdibili su Speculative Decoding ⚡️

hemingkx
⭐ 1,309 👤 hemingkx User 🕐 Aggiornato 2026-06-27 📅 Creato 2023-09-20
21
eagle-hq/EAGLE-4

Codice ufficiale di inferenza di EAGLE-4

eagle-hq
⭐ 1,220 Python 👤 eagle-hq Organization 🕐 Aggiornato 2026-11-13 📅 Creato 2026-10-20
22
StayLameBro/backburner

Il tuo iPhone aiuta il tuo Mac a eseguire un modello da 27B: lettura più rapida dei prompt e più contesto tramite un cavo USB-C

StayLameBro
⭐ 1,195 Python 👤 StayLameBro User 🕐 Aggiornato 2026-11-07 📅 Creato 2026-10-01
23
vllm-project/speculators

Una libreria unificata per costruire, valutare e archiviare algoritmi di decodifica speculativa per l'inferenza LLM in vLLM

vllm-project
⭐ 972 Python 👤 vllm-project Organization 🕐 Aggiornato 2026-11-20 📅 Creato 2025-04-08
24
chrisliu298/awesome-on-policy-distillation

Una raccolta curata di articoli, rapporti tecnici, framework e strumenti per la distillazione on-policy (OPD) di grandi modelli linguistici

chrisliu298
⭐ 926 👤 chrisliu298 User 🕐 Aggiornato 2026-10-06 📅 Creato 2026-03-22
25
feifeibear/LLMSpeculativeSampling

Inferenza veloce da modelli linguistici di grandi dimensioni tramite decodifica speculativa

feifeibear
⭐ 875 Python 👤 feifeibear User 🕐 Aggiornato 2024-08-22 📅 Creato 2023-08-16
26
nace-ai/kapitsa

Motore di inferenza velocissimo per Apple Silicon, ottimizzato per Qwen e Nemotron. Compatibile con le API di OpenAI e Anthropic. Realizzato dal team di nace.ai

nace-ai
⭐ 840 C++ 👤 nace-ai Organization 🕐 Aggiornato 2026-11-21 📅 Creato 2026-10-16
27
ARahim3/kaggle-tpu-lab

Modelli open di livello frontier su una TPU v5e-8 gratuita di Kaggle: GLM-5.3-Flash 320B MoE (~165 token/s, con il nostro motore JAX) e Qwen3.8-27B bf16 (~130 token/s), contesto da 262k e caching dei prefissi. Funziona con Claude Code, Codex, opencode e pi.

ARahim3
⭐ 812 Python 👤 ARahim3 User 🕐 Aggiornato 2026-10-06 📅 Creato 2026-08-31
28
ARahim3/mlx-dspark

Decodifica LLM fino a 4× più veloce su Apple Silicon, senza perdita. Port nativo per MLX della decodifica speculativa DSpark di DeepSeek e DFlash di z-lab — Gemma-4, Qwen3.8, Muse-Glimmer, Nemotron, LFM2.5, Ornith-1.0 e Bonsai-27B ternario.

ARahim3
⭐ 743 Python 👤 ARahim3 User 🕐 Aggiornato 2026-11-08 📅 Creato 2026-06-29
29
prabanta-dev/janas

37 tok/s con Qwen3-Next-80B (48 GB) su un laptop da 32 GB; 24 senza draft contro 2,8 con llama.cpp; lettura a 62 contro 16 tok/s. Più veloce di llama.cpp in tutti i 13 modelli confrontati in Q4_K_M. LLM più grandi della tua RAM, in puro C, per CPU o GPU.

prabanta-dev
⭐ 738 C 👤 prabanta-dev Organization 🕐 Aggiornato 2026-11-20 📅 Creato 2026-09-20
30
Avarok-Cybersecurity/atlas

Motore di inferenza puro in Rust

Avarok-Cybersecurity
⭐ 737 Rust 👤 Avarok-Cybersecurity Organization 🕐 Aggiornato 2026-11-16 📅 Creato 2026-05-05
32
MDK8888/GPTFast

Accelera i tuoi Hugging Face Transformers da 7,6 a 9 volte. Nativo per Hugging Face e PyTorch.

MDK8888
⭐ 687 Python 👤 MDK8888 User 🕐 Aggiornato 2024-08-22 📅 Creato 2024-02-18
33
Nehanth/pooled

Inferenza LLM peer-to-peer nel browser: unisci i tuoi dispositivi per eseguire grandi modelli aperti per agenti di chat e programmazione.

Nehanth
⭐ 658 JavaScript 👤 Nehanth User 🕐 Aggiornato 2026-11-03 📅 Creato 2026-09-01
35
zengxiao-he/tessera

Da insegnante a tessere — un motore di distillazione e servizio LLM costruito da zero: kernel Triton/CUDA personalizzati, distillazione FSDP, elaborazione batch continua con KV paginato, decodifica speculativa, un gateway Rust, un oracolo JAX e strumenti di interpretabilità.

zengxiao-he
⭐ 556 Python 👤 zengxiao-he User 🕐 Aggiornato 2026-10-09 📅 Creato 2026-06-05
36
turboderp-org/exui

Interfaccia Web per ExLlamaV2

turboderp-org
⭐ 513 JavaScript 👤 turboderp-org Organization 🕐 Aggiornato 2025-02-05 📅 Creato 2023-10-29
37
AEON-7/Qwen3.6-27B-AEON-Ultimate-Uncensored-DFlash

Ablazione completamente senza censura e con capacità potenziate di Qwen3.6-27B. Decodifica speculativa NVFP4 + z-lab DFlash (n=12) nel container unificato ghcr.io/aeon-7/aeon-vllm-ultimate:latest, ottimizzata per l’accettazione delle proposte in contesti lunghi su DGX Spark. 6 varianti HF (BF16/NVFP4/MTP/MTP-XS), docker-compose e guida QuickStart.

AEON-7
⭐ 501 Python 👤 AEON-7 User 🕐 Aggiornato 2026-11-13 📅 Creato 2026-04-25

Domande frequenti

1

Qual è il repository #speculative-decoding più popolare su GitHub?

Il progetto open source #speculative-decoding più alto in classifica su GitHub è OpenBMB/MiniCPM, con 11,898 stelle. MiniCPM5: LLM all'avanguardia sul dispositivo, piccoli ma potenti.

2

Quali linguaggi di programmazione sono più utilizzati nei repository #speculative-decoding?

Tra i progetti #speculative-decoding più alti in classifica su GitHub, i linguaggi di programmazione più comuni sono Python, C++, Jupyter Notebook, JavaScript.

3

Come viene calcolata la classifica dei repository #speculative-decoding?

Monitoriamo 37 repository open source attivi contrassegnati con #speculative-decoding (500+ stelle), per un totale di 83,160 stelle e una media di 2,247 stelle per repository. Le classifiche vengono aggiornate quotidianamente tramite l’API di GitHub.