Git Stars Git Stars

#speculative-decoding Repositories

Entdecke 37 aktive Open-Source-GitHub-Repositories, die mit #speculative-decoding getaggt sind und insgesamt 83,160 Sterne gesammelt haben (durchschnittlich 2,247 Sterne pro Projekt). Spitzenreiter in diesem Themenbereich ist OpenBMB/MiniCPM mit 11,898 Sternen.

37
Gesamtzahl der Repositories
83,160
Gesamtanzahl der Sterne
2,247
Durchschnittliche Sterne/Repo

Insgesamt 37 Repositories

1
OpenBMB/MiniCPM

MiniCPM5: SOTA On-Device-LLMs, klein aber leistungsstark.

OpenBMB
⭐ 11,898 Jupyter Notebook 👤 OpenBMB Organization 🕐 Aktualisiert 2026-11-09 📅 Erstellt 2024-01-29
2
karminski/one-small-step

Dies ist ein einfaches technisches科普-Tutorial-Projekt, das sich hauptsächlich darauf konzentriert, einige interessante, hochmoderne technische Konzepte und Prinzipien zu erklären. Jeder Artikel wird angestrebt, in 5 Minuten gelesen zu werden.

karminski
⭐ 7,006 Python 👤 karminski User 🕐 Aktualisiert 2026-03-08 📅 Erstellt 2025-01-16
3
z-lab/dflash

DFlash: Blockdiffusion für Flash-Spekulative Dekodierung

z-lab
⭐ 6,254 Python 👤 z-lab Organization 🕐 Aktualisiert 2026-08-18 📅 Erstellt 2026-01-04
4
meta-pytorch/gpt-fast

Einfache und effiziente PyTorch-native Transformer-Textgenerierung in <1000 LOC Python.

meta-pytorch
⭐ 6,244 Python 👤 meta-pytorch Organization 🕐 Aktualisiert 2025-08-22 📅 Erstellt 2023-10-17
5
NVIDIA/Model-Optimizer

Eine einheitliche Bibliothek für SOTA-Modelloptimierungstechniken wie Quantisierung, Destillation, Pruning, neuronale Architektursuche, spekulative Dekodierung usw. Sie komprimiert Deep-Learning-Modelle für nachgelagerte Bereitstellungs-Frameworks wie TensorRT-LLM, TensorRT, vLLM usw., um die Inferenzgeschwindigkeit zu optimieren.

NVIDIA
⭐ 5,646 Python 👤 NVIDIA Organization 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2024-04-23
6
raullenchai/Rapid-MLX

Rapid-MLX ist ein Open-Source-LLM-Inferenzserver (Apache 2.0) für Apple Silicon, kompatibel mit OpenAI und Anthropic, auf MLX aufgebaut und auf zuverlässige Tool-Aufrufe für Coding-Agenten ausgerichtet. Mit denselben Gewichten bis zu 4× schneller als Apples MLX (mlx-lm).

raullenchai
⭐ 4,168 Python 👤 raullenchai User 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2026-02-25
7
radixark/miles

Miles ist ein auf Unternehmen ausgelegtes Verstärkungslern-Framework für die Nachtrainierung von LLM und VLM, abgezweigt von und gemeinsam mit slime weiterentwickelt.

radixark
⭐ 3,386 Python 👤 radixark Organization 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2025-10-09
8
Luce-Org/lucebox

Lucebox-Inferenz-Engine für heterogene Hardware und Consumer-GPUs

Luce-Org
⭐ 3,024 C++ 👤 Luce-Org Organization 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2026-04-03
9
syv-ai/HyperQwen

Führe große Qwen-Modelle schnell auf den GPUs aus, die du tatsächlich besitzt. Qwen3.8-27B auf einer einzelnen 24-GB-Karte mit vLLM: 127 Tok/s bei einem einzelnen Nutzer (381, wenn die Antwort den Prompt zitiert), etwa 1.035 Tok/s bei 64 gleichzeitigen Anfragen und ein Kontext von 150k–262k. vLLM-Patches, Requantisierungs-Pipeline und Benchmarks.

syv-ai
⭐ 2,778 Python 👤 syv-ai Organization 🕐 Aktualisiert 2026-11-10 📅 Erstellt 2026-08-15
10
youssofal/MTPLX

Die schnellste Möglichkeit, Qwen 3.8 Flash Next, Qwen 3.8 27B und Ternary Bonsai 2 27B auf einem Mac auszuführen: 125 Token/s in OpenCode auf einem M5 Max und ein 27B-Modell auf Macs mit 16 GB. Native MTP-Spekulativdekodierung auf Apple Silicon, bei jeder Temperatur exakt. Lokaler Server mit OpenAI- und Anthropic-Kompatibilität.

youssofal
⭐ 2,729 Python 👤 youssofal User 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2026-05-02
11
incoai/splash

Eine lokale Inferenz-Engine für Apple Silicon, die um das Modell herum entwickelt wurde.

incoai
⭐ 2,591 C++ 👤 incoai Organization 🕐 Aktualisiert 2026-11-17 📅 Erstellt 2026-09-18
12
SafeAILab/EAGLE

Offizielle Implementierung von EAGLE-1 (ICML'24), EAGLE-2 (EMNLP'24) und EAGLE-3 (NeurIPS'25).

SafeAILab
⭐ 2,581 Python 👤 SafeAILab Organization 🕐 Aktualisiert 2026-02-20 📅 Erstellt 2023-12-07
13
dphnAI/sonar

Groß angelegte LLM-Inferenz-Engine

dphnAI
⭐ 1,911 Python 👤 dphnAI Organization 🕐 Aktualisiert 2026-11-17 📅 Erstellt 2023-06-23
14
Tencent/AngelSlim

Modellkomprimierungs-Toolkit, entwickelt für verbesserte Benutzerfreundlichkeit, Umfassendheit und Effizienz.

Tencent
⭐ 1,811 Python 👤 Tencent Organization 🕐 Aktualisiert 2026-11-20 📅 Erstellt 2025-07-04
15
sybil-solutions/inference-optimisation-skill

Agenten-Skill zur schrittweisen Optimierung der lokalen LLM-Bereitstellungsgeschwindigkeit (Decoding, spekulatives Decoding, Prefill, KV, Start, TTFT) auf beliebiger Hardware und mit beliebiger Quantisierung

sybil-solutions
⭐ 1,425 Python 👤 sybil-solutions Organization 🕐 Aktualisiert 2026-11-16 📅 Erstellt 2026-11-16
16
peonist-ai/halogen-flash-server

Lokale Inferenz mit dem Verhalten einer hochmodernen API: Qwen3.8-Flash-Next auf AMD Strix Halo sowie kleine NPU-Modelle – über die OpenAI- und Anthropic-APIs auf einem einzigen Port.

peonist-ai
⭐ 1,412 Shell 👤 peonist-ai Organization 🕐 Aktualisiert 2026-11-18 📅 Erstellt 2026-08-26
17
synchopate/llama-modchip

GPU-freie CPU-Inferenz für 30B–284B-MoE-Modelle (Qwen3.8 176.5B mit kaltem Cache in Cgroup v2 bei 28,26/48,35 GiB zertifiziert, DeepSeek-V4 284B, Nemotron-30B) + RouteCrack 2.0.

synchopate
⭐ 1,398 Python 👤 synchopate User 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2026-10-29
18
hao-ai-lab/LookaheadDecoding

[ICML 2024] Brechen Sie die sequenzielle Abhängigkeit der LLM-Inferenz durch vorausschauende Dekodierung

hao-ai-lab
⭐ 1,337 Python 👤 hao-ai-lab Organization 🕐 Aktualisiert 2025-03-06 📅 Erstellt 2023-11-21
19
simplexai-labs/PolyStrata

Führen Sie große KI-Modelle auf Ihrem eigenen PC aus: Qwen3.8-Flash-Next mit der Engine von Strata sowie GLM 5.3 Flash, DeepSeek V4 Flash, LFM2.5, Qwen3.6, Ornith 1.5, Gemma 4, Tiel Coder und MiniCPM-V mit einer zweiten Engine, die für PolyStrata entwickelt wurde. Ein-Klick-Installation für Windows und Linux, mit OpenAI-/Anthropic-API auf localhost.

simplexai-labs
⭐ 1,324 C++ 👤 simplexai-labs Organization 🕐 Aktualisiert 2026-11-18 📅 Erstellt 2026-10-06
20
hemingkx/SpeculativeDecodingPapers

📰 Lesenswertes: Publikationen und Blogs zu Speculative Decoding ⚡️

hemingkx
⭐ 1,309 👤 hemingkx User 🕐 Aktualisiert 2026-06-27 📅 Erstellt 2023-09-20
21
eagle-hq/EAGLE-4

Offizieller Inferenzcode von EAGLE-4

eagle-hq
⭐ 1,220 Python 👤 eagle-hq Organization 🕐 Aktualisiert 2026-11-13 📅 Erstellt 2026-10-20
22
StayLameBro/backburner

Dein iPhone unterstützt deinen Mac beim Ausführen eines 27B-Modells: schnelleres Einlesen von Prompts und mehr Kontext über ein USB-C-Kabel

StayLameBro
⭐ 1,195 Python 👤 StayLameBro User 🕐 Aktualisiert 2026-11-07 📅 Erstellt 2026-10-01
23
vllm-project/speculators

Eine einheitliche Bibliothek zum Erstellen, Evaluieren und Speichern von spekulativen Dekodierungsalgorithmen für die LLM-Inferenz in vLLM

vllm-project
⭐ 972 Python 👤 vllm-project Organization 🕐 Aktualisiert 2026-11-20 📅 Erstellt 2025-04-08
24
chrisliu298/awesome-on-policy-distillation

Eine kuratierte Sammlung von Papieren, technischen Berichten, Frameworks und Tools für die On-Policy-Destillation (OPD) großer Sprachmodelle

chrisliu298
⭐ 926 👤 chrisliu298 User 🕐 Aktualisiert 2026-10-06 📅 Erstellt 2026-03-22
25
feifeibear/LLMSpeculativeSampling

Schnelle Inferenz von großen Sprachmodellen durch spekulatives Dekodieren

feifeibear
⭐ 875 Python 👤 feifeibear User 🕐 Aktualisiert 2024-08-22 📅 Erstellt 2023-08-16
26
nace-ai/kapitsa

Blitzschnelle Inferenz-Engine für Apple Silicon, optimiert für Qwen und Nemotron. Kompatibel mit den APIs von OpenAI und Anthropic. Entwickelt vom Team von nace.ai

nace-ai
⭐ 840 C++ 👤 nace-ai Organization 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2026-10-16
27
ARahim3/kaggle-tpu-lab

Open-Modelle der Spitzenklasse auf einer kostenlosen Kaggle-TPU v5e-8: GLM-5.3-Flash 320B MoE (~165 Tok/s, mit unserer eigenen JAX-Engine) und Qwen3.8-27B bf16 (~130 Tok/s), 262k Kontext und Präfix-Caching. Funktioniert mit Claude Code, Codex, opencode und pi.

ARahim3
⭐ 812 Python 👤 ARahim3 User 🕐 Aktualisiert 2026-10-06 📅 Erstellt 2026-08-31
28
ARahim3/mlx-dspark

Bis zu 4× schnelleres LLM-Decoding auf Apple Silicon, verlustfrei. Native MLX-Portierung des spekulativen Decodings DSpark von DeepSeek und DFlash von z-lab — Gemma-4, Qwen3.8, Muse-Glimmer, Nemotron, LFM2.5, Ornith-1.0 und ternäres Bonsai-27B.

ARahim3
⭐ 743 Python 👤 ARahim3 User 🕐 Aktualisiert 2026-11-08 📅 Erstellt 2026-06-29
29
prabanta-dev/janas

37 tok/s mit Qwen3-Next-80B (48 GB) auf einem 32-GB-Laptop; 24 ohne Drafts gegenüber 2,8 mit llama.cpp; beim Lesen 62 gegenüber 16 tok/s. Schneller als llama.cpp bei allen 13 Modellen, die in Q4_K_M verglichen wurden. LLMs, die größer sind als dein RAM – pures C, für CPU oder GPU.

prabanta-dev
⭐ 738 C 👤 prabanta-dev Organization 🕐 Aktualisiert 2026-11-20 📅 Erstellt 2026-09-20
30
Avarok-Cybersecurity/atlas

Reine Rust-Inferenz-Engine

Avarok-Cybersecurity
⭐ 737 Rust 👤 Avarok-Cybersecurity Organization 🕐 Aktualisiert 2026-11-16 📅 Erstellt 2026-05-05
32
MDK8888/GPTFast

Beschleunigen Sie Ihre Hugging Face Transformers um das 7,6- bis 9-fache. Nativ für Hugging Face und PyTorch.

MDK8888
⭐ 687 Python 👤 MDK8888 User 🕐 Aktualisiert 2024-08-22 📅 Erstellt 2024-02-18
33
Nehanth/pooled

Peer-to-Peer-LLM-Inferenz im Browser: Bündle deine Geräte, um große offene Modelle für Chat- und Programmieragenten auszuführen.

Nehanth
⭐ 658 JavaScript 👤 Nehanth User 🕐 Aktualisiert 2026-11-03 📅 Erstellt 2026-09-01
35
zengxiao-he/tessera

Vom Lehrer zu Kacheln — eine von Grund auf neu entwickelte LLM-Destillations- und Serving-Engine: benutzerdefinierte Triton/CUDA-Kernel, FSDP-Destillation, kontinuierliches Batching mit paged-KV, spekulative Dekodierung, ein Rust-Gateway, ein JAX-Orakel und Interpretierbarkeitswerkzeuge.

zengxiao-he
⭐ 556 Python 👤 zengxiao-he User 🕐 Aktualisiert 2026-10-09 📅 Erstellt 2026-06-05
36
turboderp-org/exui

Web-UI für ExLlamaV2

turboderp-org
⭐ 513 JavaScript 👤 turboderp-org Organization 🕐 Aktualisiert 2025-02-05 📅 Erstellt 2023-10-29
37
AEON-7/Qwen3.6-27B-AEON-Ultimate-Uncensored-DFlash

Vollständig unzensierte, fähigkeitserweiterte Ablation von Qwen3.6-27B. NVFP4 + z-lab DFlash Speculative Decoding (n=12) im einheitlichen Container ghcr.io/aeon-7/aeon-vllm-ultimate:latest, optimiert für die Akzeptanz von Entwürfen bei langen Kontexten auf DGX Spark. 6 HF-Varianten (BF16/NVFP4/MTP/MTP-XS), docker-compose und QuickStart.

AEON-7
⭐ 501 Python 👤 AEON-7 User 🕐 Aktualisiert 2026-11-13 📅 Erstellt 2026-04-25

Häufig gestellte Fragen

1

Welches ist das beliebteste #speculative-decoding-Repository auf GitHub?

Das am höchsten eingestufte Open-Source-#speculative-decoding-Projekt auf GitHub ist OpenBMB/MiniCPM mit 11,898 Sternen. MiniCPM5: SOTA On-Device-LLMs, klein aber leistungsstark.

2

Welche Programmiersprachen werden in #speculative-decoding-Repositories am häufigsten verwendet?

Unter den am höchsten eingestuften #speculative-decoding-Projekten auf GitHub sind Python, C++, Jupyter Notebook, JavaScript die am häufigsten verwendeten Programmiersprachen.

3

Wie wird das Ranking der #speculative-decoding-Repositories berechnet?

Wir verfolgen 37 aktive Open-Source-Repositories, die mit #speculative-decoding getaggt sind (500+ Sterne), mit insgesamt 83,160 Sternen und durchschnittlich 2,247 Sternen pro Repository. Die Rankings werden täglich über die GitHub-API aktualisiert.