#speculative-decoding Repositories
Entdecke 37 aktive Open-Source-GitHub-Repositories, die mit #speculative-decoding getaggt sind und insgesamt 83,160 Sterne gesammelt haben (durchschnittlich 2,247 Sterne pro Projekt). Spitzenreiter in diesem Themenbereich ist OpenBMB/MiniCPM mit 11,898 Sternen.
Insgesamt 37 Repositories
Dies ist ein einfaches technisches科普-Tutorial-Projekt, das sich hauptsächlich darauf konzentriert, einige interessante, hochmoderne technische Konzepte und Prinzipien zu erklären. Jeder Artikel wird angestrebt, in 5 Minuten gelesen zu werden.
Einfache und effiziente PyTorch-native Transformer-Textgenerierung in <1000 LOC Python.
Eine einheitliche Bibliothek für SOTA-Modelloptimierungstechniken wie Quantisierung, Destillation, Pruning, neuronale Architektursuche, spekulative Dekodierung usw. Sie komprimiert Deep-Learning-Modelle für nachgelagerte Bereitstellungs-Frameworks wie TensorRT-LLM, TensorRT, vLLM usw., um die Inferenzgeschwindigkeit zu optimieren.
Rapid-MLX ist ein Open-Source-LLM-Inferenzserver (Apache 2.0) für Apple Silicon, kompatibel mit OpenAI und Anthropic, auf MLX aufgebaut und auf zuverlässige Tool-Aufrufe für Coding-Agenten ausgerichtet. Mit denselben Gewichten bis zu 4× schneller als Apples MLX (mlx-lm).
Miles ist ein auf Unternehmen ausgelegtes Verstärkungslern-Framework für die Nachtrainierung von LLM und VLM, abgezweigt von und gemeinsam mit slime weiterentwickelt.
Führe große Qwen-Modelle schnell auf den GPUs aus, die du tatsächlich besitzt. Qwen3.8-27B auf einer einzelnen 24-GB-Karte mit vLLM: 127 Tok/s bei einem einzelnen Nutzer (381, wenn die Antwort den Prompt zitiert), etwa 1.035 Tok/s bei 64 gleichzeitigen Anfragen und ein Kontext von 150k–262k. vLLM-Patches, Requantisierungs-Pipeline und Benchmarks.
Die schnellste Möglichkeit, Qwen 3.8 Flash Next, Qwen 3.8 27B und Ternary Bonsai 2 27B auf einem Mac auszuführen: 125 Token/s in OpenCode auf einem M5 Max und ein 27B-Modell auf Macs mit 16 GB. Native MTP-Spekulativdekodierung auf Apple Silicon, bei jeder Temperatur exakt. Lokaler Server mit OpenAI- und Anthropic-Kompatibilität.
Eine lokale Inferenz-Engine für Apple Silicon, die um das Modell herum entwickelt wurde.
Offizielle Implementierung von EAGLE-1 (ICML'24), EAGLE-2 (EMNLP'24) und EAGLE-3 (NeurIPS'25).
Modellkomprimierungs-Toolkit, entwickelt für verbesserte Benutzerfreundlichkeit, Umfassendheit und Effizienz.
Agenten-Skill zur schrittweisen Optimierung der lokalen LLM-Bereitstellungsgeschwindigkeit (Decoding, spekulatives Decoding, Prefill, KV, Start, TTFT) auf beliebiger Hardware und mit beliebiger Quantisierung
Lokale Inferenz mit dem Verhalten einer hochmodernen API: Qwen3.8-Flash-Next auf AMD Strix Halo sowie kleine NPU-Modelle – über die OpenAI- und Anthropic-APIs auf einem einzigen Port.
GPU-freie CPU-Inferenz für 30B–284B-MoE-Modelle (Qwen3.8 176.5B mit kaltem Cache in Cgroup v2 bei 28,26/48,35 GiB zertifiziert, DeepSeek-V4 284B, Nemotron-30B) + RouteCrack 2.0.
[ICML 2024] Brechen Sie die sequenzielle Abhängigkeit der LLM-Inferenz durch vorausschauende Dekodierung
Führen Sie große KI-Modelle auf Ihrem eigenen PC aus: Qwen3.8-Flash-Next mit der Engine von Strata sowie GLM 5.3 Flash, DeepSeek V4 Flash, LFM2.5, Qwen3.6, Ornith 1.5, Gemma 4, Tiel Coder und MiniCPM-V mit einer zweiten Engine, die für PolyStrata entwickelt wurde. Ein-Klick-Installation für Windows und Linux, mit OpenAI-/Anthropic-API auf localhost.
📰 Lesenswertes: Publikationen und Blogs zu Speculative Decoding ⚡️
Dein iPhone unterstützt deinen Mac beim Ausführen eines 27B-Modells: schnelleres Einlesen von Prompts und mehr Kontext über ein USB-C-Kabel
Eine einheitliche Bibliothek zum Erstellen, Evaluieren und Speichern von spekulativen Dekodierungsalgorithmen für die LLM-Inferenz in vLLM
Eine kuratierte Sammlung von Papieren, technischen Berichten, Frameworks und Tools für die On-Policy-Destillation (OPD) großer Sprachmodelle
Schnelle Inferenz von großen Sprachmodellen durch spekulatives Dekodieren
Blitzschnelle Inferenz-Engine für Apple Silicon, optimiert für Qwen und Nemotron. Kompatibel mit den APIs von OpenAI und Anthropic. Entwickelt vom Team von nace.ai
Open-Modelle der Spitzenklasse auf einer kostenlosen Kaggle-TPU v5e-8: GLM-5.3-Flash 320B MoE (~165 Tok/s, mit unserer eigenen JAX-Engine) und Qwen3.8-27B bf16 (~130 Tok/s), 262k Kontext und Präfix-Caching. Funktioniert mit Claude Code, Codex, opencode und pi.
Bis zu 4× schnelleres LLM-Decoding auf Apple Silicon, verlustfrei. Native MLX-Portierung des spekulativen Decodings DSpark von DeepSeek und DFlash von z-lab — Gemma-4, Qwen3.8, Muse-Glimmer, Nemotron, LFM2.5, Ornith-1.0 und ternäres Bonsai-27B.
37 tok/s mit Qwen3-Next-80B (48 GB) auf einem 32-GB-Laptop; 24 ohne Drafts gegenüber 2,8 mit llama.cpp; beim Lesen 62 gegenüber 16 tok/s. Schneller als llama.cpp bei allen 13 Modellen, die in Q4_K_M verglichen wurden. LLMs, die größer sind als dein RAM – pures C, für CPU oder GPU.
Beschleunigen Sie Ihre Hugging Face Transformers um das 7,6- bis 9-fache. Nativ für Hugging Face und PyTorch.
Peer-to-Peer-LLM-Inferenz im Browser: Bündle deine Geräte, um große offene Modelle für Chat- und Programmieragenten auszuführen.
Vom Lehrer zu Kacheln — eine von Grund auf neu entwickelte LLM-Destillations- und Serving-Engine: benutzerdefinierte Triton/CUDA-Kernel, FSDP-Destillation, kontinuierliches Batching mit paged-KV, spekulative Dekodierung, ein Rust-Gateway, ein JAX-Orakel und Interpretierbarkeitswerkzeuge.
Vollständig unzensierte, fähigkeitserweiterte Ablation von Qwen3.6-27B. NVFP4 + z-lab DFlash Speculative Decoding (n=12) im einheitlichen Container ghcr.io/aeon-7/aeon-vllm-ultimate:latest, optimiert für die Akzeptanz von Entwürfen bei langen Kontexten auf DGX Spark. 6 HF-Varianten (BF16/NVFP4/MTP/MTP-XS), docker-compose und QuickStart.
Häufig gestellte Fragen
Welches ist das beliebteste #speculative-decoding-Repository auf GitHub?
Das am höchsten eingestufte Open-Source-#speculative-decoding-Projekt auf GitHub ist OpenBMB/MiniCPM mit 11,898 Sternen. MiniCPM5: SOTA On-Device-LLMs, klein aber leistungsstark.
Welche Programmiersprachen werden in #speculative-decoding-Repositories am häufigsten verwendet?
Unter den am höchsten eingestuften #speculative-decoding-Projekten auf GitHub sind Python, C++, Jupyter Notebook, JavaScript die am häufigsten verwendeten Programmiersprachen.
Wie wird das Ranking der #speculative-decoding-Repositories berechnet?
Wir verfolgen 37 aktive Open-Source-Repositories, die mit #speculative-decoding getaggt sind (500+ Sterne), mit insgesamt 83,160 Sternen und durchschnittlich 2,247 Sternen pro Repository. Die Rankings werden täglich über die GitHub-API aktualisiert.