#speculative-decoding Repository
Scopri 37 repository GitHub open source attivi contrassegnati con #speculative-decoding, che raccolgono un totale di 83,160 stelle (con una media di 2,247 stelle per progetto). Il progetto leader di questo argomento è OpenBMB/MiniCPM, con 11,898 stelle.
37 repository in totale
Questo è un semplice progetto di tutorial tecnico科普, focalizzato principalmente sulla spiegazione di concetti e principi tecnologici interessanti e all'avanguardia. Ogni articolo si sforza di essere completato in 5 minuti di lettura.
Generazione di testo Transformer semplice ed efficiente, nativa di Pytorch, in <1000 LOC di Python.
Una libreria unificata di tecniche di ottimizzazione dei modelli SOTA come quantizzazione, distillazione, pruning, ricerca di architetture neurali, decodifica speculativa, ecc. Comprime i modelli di deep learning per framework di distribuzione a valle come TensorRT-LLM, TensorRT, vLLM, ecc., per ottimizzare la velocità di inferenza.
Rapid-MLX è un server di inferenza LLM open source (Apache 2.0) per Apple Silicon, compatibile con OpenAI e Anthropic, basato su MLX e progettato per offrire chiamate agli strumenti affidabili agli agenti di programmazione. Fino a 4 volte più veloce di MLX (mlx-lm) di Apple con gli stessi pesi.
Miles è un framework di reinforcement learning orientato alle imprese per la post-allenamento di LLM e VLM, derivato da e co-evolvendosi con slime.
Esegui rapidamente modelli Qwen di grandi dimensioni sulle GPU che possiedi davvero. Qwen3.8-27B su una singola scheda da 24 GB con vLLM: 127 tok/s per un singolo utente (381 quando la risposta cita il prompt), circa 1.035 tok/s con 64 richieste simultanee e un contesto di 150k–262k. Patch per vLLM, pipeline di requantizzazione e benchmark.
Il modo più veloce per eseguire Qwen 3.8 Flash Next, Qwen 3.8 27B e Ternary Bonsai 2 27B su un Mac: 125 token/s in OpenCode su un M5 Max e un modello 27B sui Mac con 16 GB. Decodifica speculativa MTP nativa su Apple Silicon, accurata a qualsiasi temperatura. Server locale compatibile con OpenAI e Anthropic.
Implementazione ufficiale di EAGLE-1 (ICML'24), EAGLE-2 (EMNLP'24) e EAGLE-3 (NeurIPS'25).
Toolkit di compressione dei modelli progettato per una maggiore usabilità, completezza ed efficienza.
Competenza dell’agente per ottimizzare progressivamente la velocità di servizio degli LLM locali (decodifica, decodifica speculativa, prefill, KV, avvio, TTFT) su qualsiasi hardware e con qualsiasi quantizzazione
Inferenza locale con un comportamento simile a quello di un’API all’avanguardia: Qwen3.8-Flash-Next su AMD Strix Halo, insieme a piccoli modelli NPU, tramite le API di OpenAI e Anthropic su un’unica porta.
Inferenza su CPU senza GPU per modelli MoE da 30B a 284B (Qwen3.8 176.5B certificato con cache fredda in Cgroup v2 a 28,26/48,35 GiB, DeepSeek-V4 284B, Nemotron-30B) + RouteCrack 2.0.
[ICML 2024] Interrompere la dipendenza sequenziale dell'inferenza LLM utilizzando la decodifica lookahead
Esegui modelli di IA di grandi dimensioni sul tuo PC: Qwen3.8-Flash-Next con il motore di Strata e GLM 5.3 Flash, DeepSeek V4 Flash, LFM2.5, Qwen3.6, Ornith 1.5, Gemma 4, Tiel Coder e MiniCPM-V con un secondo motore progettato per PolyStrata. Installazione con un clic per Windows e Linux, con API OpenAI/Anthropic su localhost.
Il tuo iPhone aiuta il tuo Mac a eseguire un modello da 27B: lettura più rapida dei prompt e più contesto tramite un cavo USB-C
Una libreria unificata per costruire, valutare e archiviare algoritmi di decodifica speculativa per l'inferenza LLM in vLLM
Una raccolta curata di articoli, rapporti tecnici, framework e strumenti per la distillazione on-policy (OPD) di grandi modelli linguistici
Inferenza veloce da modelli linguistici di grandi dimensioni tramite decodifica speculativa
Motore di inferenza velocissimo per Apple Silicon, ottimizzato per Qwen e Nemotron. Compatibile con le API di OpenAI e Anthropic. Realizzato dal team di nace.ai
Modelli open di livello frontier su una TPU v5e-8 gratuita di Kaggle: GLM-5.3-Flash 320B MoE (~165 token/s, con il nostro motore JAX) e Qwen3.8-27B bf16 (~130 token/s), contesto da 262k e caching dei prefissi. Funziona con Claude Code, Codex, opencode e pi.
Decodifica LLM fino a 4× più veloce su Apple Silicon, senza perdita. Port nativo per MLX della decodifica speculativa DSpark di DeepSeek e DFlash di z-lab — Gemma-4, Qwen3.8, Muse-Glimmer, Nemotron, LFM2.5, Ornith-1.0 e Bonsai-27B ternario.
37 tok/s con Qwen3-Next-80B (48 GB) su un laptop da 32 GB; 24 senza draft contro 2,8 con llama.cpp; lettura a 62 contro 16 tok/s. Più veloce di llama.cpp in tutti i 13 modelli confrontati in Q4_K_M. LLM più grandi della tua RAM, in puro C, per CPU o GPU.
Accelera i tuoi Hugging Face Transformers da 7,6 a 9 volte. Nativo per Hugging Face e PyTorch.
Inferenza LLM peer-to-peer nel browser: unisci i tuoi dispositivi per eseguire grandi modelli aperti per agenti di chat e programmazione.
Da insegnante a tessere — un motore di distillazione e servizio LLM costruito da zero: kernel Triton/CUDA personalizzati, distillazione FSDP, elaborazione batch continua con KV paginato, decodifica speculativa, un gateway Rust, un oracolo JAX e strumenti di interpretabilità.
Ablazione completamente senza censura e con capacità potenziate di Qwen3.6-27B. Decodifica speculativa NVFP4 + z-lab DFlash (n=12) nel container unificato ghcr.io/aeon-7/aeon-vllm-ultimate:latest, ottimizzata per l’accettazione delle proposte in contesti lunghi su DGX Spark. 6 varianti HF (BF16/NVFP4/MTP/MTP-XS), docker-compose e guida QuickStart.
Domande frequenti
Qual è il repository #speculative-decoding più popolare su GitHub?
Il progetto open source #speculative-decoding più alto in classifica su GitHub è OpenBMB/MiniCPM, con 11,898 stelle. MiniCPM5: LLM all'avanguardia sul dispositivo, piccoli ma potenti.
Quali linguaggi di programmazione sono più utilizzati nei repository #speculative-decoding?
Tra i progetti #speculative-decoding più alti in classifica su GitHub, i linguaggi di programmazione più comuni sono Python, C++, Jupyter Notebook, JavaScript.
Come viene calcolata la classifica dei repository #speculative-decoding?
Monitoriamo 37 repository open source attivi contrassegnati con #speculative-decoding (500+ stelle), per un totale di 83,160 stelle e una media di 2,247 stelle per repository. Le classifiche vengono aggiornate quotidianamente tramite l’API di GitHub.