Git Stars Git Stars

#speculative-decoding リポジトリ

#speculative-decodingのタグが付いた、GitHub上の37件のアクティブなオープンソースリポジトリをご覧ください。合計スター数は83,160個で、プロジェクトあたりの平均は2,247個です。このトピックをリードしているのは、11,898個のスターを獲得しているOpenBMB/MiniCPMです。

37
リポジトリ総数
83,160
合計スター数
2,247
リポジトリあたりの平均スター数

リポジトリ合計37件

1
OpenBMB/MiniCPM

MiniCPM5:デバイス上で動く最先端LLM、小さくても強力。

OpenBMB
⭐ 11,898 Jupyter Notebook 👤 OpenBMB Organization 🕐 更新日時 2026-11-09 📅 作成日 2024-01-29
2
karminski/one-small-step

これは、興味深く最先端の技術的概念と原則を説明することに主​​に焦点を当てた、簡単な技術科普チュートリアルプロジェクトです。各記事は5分以内に読了できるように努めています。

karminski
⭐ 7,006 Python 👤 karminski User 🕐 更新日時 2026-03-08 📅 作成日 2025-01-16
3
z-lab/dflash

DFlash:Flashの予測的デコーディングのためのブロック拡散

z-lab
⭐ 6,254 Python 👤 z-lab Organization 🕐 更新日時 2026-08-18 📅 作成日 2026-01-04
4
meta-pytorch/gpt-fast

Pythonの1000行未満で、シンプルかつ効率的なPytorchネイティブTransformerテキスト生成。

meta-pytorch
⭐ 6,244 Python 👤 meta-pytorch Organization 🕐 更新日時 2025-08-22 📅 作成日 2023-10-17
5
NVIDIA/Model-Optimizer

量子化、蒸留、プルーニング、ニューラルアーキテクチャ探索、推論的デコードなどのSOTAモデル最適化技術を統合したライブラリ。TensorRT-LLM、TensorRT、vLLMなどのダウンストリームデプロイメントフレームワーク向けにディープラーニングモデルを圧縮し、推論速度を最適化します。

NVIDIA
⭐ 5,646 Python 👤 NVIDIA Organization 🕐 更新日時 2026-11-21 📅 作成日 2024-04-23
6
raullenchai/Rapid-MLX

Rapid-MLX は、Apple Silicon 向けのオープンソース(Apache 2.0)LLM 推論サーバーです。MLX を基盤とし、OpenAI および Anthropic と互換性があり、コーディングエージェント向けの信頼性の高いツール呼び出しに重点を置いています。同じ重みを使用した場合、Apple の MLX(mlx-lm)より最大 4 倍高速です。

raullenchai
⭐ 4,168 Python 👤 raullenchai User 🕐 更新日時 2026-11-21 📅 作成日 2026-02-25
7
radixark/miles

MilesはLLMとVLMのポストトレーニング用に企業向けの強化学習フレームワークであり、slimeから派生し、slimeと共に共進化しています。

radixark
⭐ 3,386 Python 👤 radixark Organization 🕐 更新日時 2026-11-21 📅 作成日 2025-10-09
8
Luce-Org/lucebox

異種ハードウェアおよびコンシューマー向け GPU 用の Lucebox 推論エンジン

Luce-Org
⭐ 3,024 C++ 👤 Luce-Org Organization 🕐 更新日時 2026-11-21 📅 作成日 2026-04-03
9
syv-ai/HyperQwen

実際に所有しているGPUで、大規模なQwenモデルを高速にサーブします。vLLMを使い、24 GBのカード1枚でQwen3.8-27Bを実行:単一ユーザーで127 tok/s(回答がプロンプトを引用する場合は381 tok/s)、64並列で約1,035 tok/s、コンテキスト長は150k~262k。vLLMのパッチ、再量子化パイプライン、ベンチマーク。

syv-ai
⭐ 2,778 Python 👤 syv-ai Organization 🕐 更新日時 2026-11-10 📅 作成日 2026-08-15
10
youssofal/MTPLX

MacでQwen 3.8 Flash Next、Qwen 3.8 27B、Ternary Bonsai 2 27Bを実行する最速の方法:M5 Max上のOpenCodeで125トークン/秒、16 GBのMacで27Bモデルを実行可能。Apple Silicon上でネイティブMTP投機的デコードに対応し、どの温度設定でも正確です。OpenAIおよびAnthropic互換のローカルサーバー。

youssofal
⭐ 2,729 Python 👤 youssofal User 🕐 更新日時 2026-11-21 📅 作成日 2026-05-02
11
incoai/splash

モデルを中心に構築された、Appleシリコン向けのローカル推論エンジン。

incoai
⭐ 2,591 C++ 👤 incoai Organization 🕐 更新日時 2026-11-17 📅 作成日 2026-09-18
12
SafeAILab/EAGLE

EAGLE-1 (ICML'24)、EAGLE-2 (EMNLP'24)、EAGLE-3 (NeurIPS'25) の公式実装。

SafeAILab
⭐ 2,581 Python 👤 SafeAILab Organization 🕐 更新日時 2026-02-20 📅 作成日 2023-12-07
13
dphnAI/sonar

大規模LLM推論エンジン

dphnAI
⭐ 1,911 Python 👤 dphnAI Organization 🕐 更新日時 2026-11-17 📅 作成日 2023-06-23
14
Tencent/AngelSlim

使いやすさ、包括性、効率性を向上させるために設計されたモデル圧縮ツールキット。

Tencent
⭐ 1,811 Python 👤 Tencent Organization 🕐 更新日時 2026-11-20 📅 作成日 2025-07-04
15
sybil-solutions/inference-optimisation-skill

あらゆるハードウェアと量子化設定で、ローカルLLMのサービング速度(デコード、投機的デコード、プレフィル、KV、起動、TTFT)を段階的に最適化するエージェントスキル

sybil-solutions
⭐ 1,425 Python 👤 sybil-solutions Organization 🕐 更新日時 2026-11-16 📅 作成日 2026-11-16
16
peonist-ai/halogen-flash-server

最先端APIのように動作するローカル推論:AMD Strix Halo上のQwen3.8-Flash-Nextと小型NPUモデルを、OpenAIおよびAnthropicのAPI経由で単一ポートから利用。

peonist-ai
⭐ 1,412 Shell 👤 peonist-ai Organization 🕐 更新日時 2026-11-18 📅 作成日 2026-08-26
17
synchopate/llama-modchip

30B~284BのMoEモデル向け、GPU不要のCPU推論(Qwen3.8 176.5Bは28.26/48.35 GiBのCgroup v2コールドキャッシュ環境で認証済み、DeepSeek-V4 284B、Nemotron-30B)+RouteCrack 2.0。

synchopate
⭐ 1,398 Python 👤 synchopate User 🕐 更新日時 2026-11-21 📅 作成日 2026-10-29
18
hao-ai-lab/LookaheadDecoding

[ICML 2024] Lookahead Decodingを使用してLLM推論の逐次依存性を打破する

hao-ai-lab
⭐ 1,337 Python 👤 hao-ai-lab Organization 🕐 更新日時 2025-03-06 📅 作成日 2023-11-21
19
simplexai-labs/PolyStrata

大規模な AI モデルを自分の PC で実行できます。Strata のエンジンでは Qwen3.8-Flash-Next を、PolyStrata 向けに開発された第 2 のエンジンでは GLM 5.3 Flash、DeepSeek V4 Flash、LFM2.5、Qwen3.6、Ornith 1.5、Gemma 4、Tiel Coder、MiniCPM-V を実行できます。Windows と Linux にワンクリックでインストールでき、localhost で OpenAI/Anthropic API を利用できます。

simplexai-labs
⭐ 1,324 C++ 👤 simplexai-labs Organization 🕐 更新日時 2026-11-18 📅 作成日 2026-10-06
20
hemingkx/SpeculativeDecodingPapers

📰 Speculative Decoding に関する必読論文とブログ ⚡️

hemingkx
⭐ 1,309 👤 hemingkx User 🕐 更新日時 2026-06-27 📅 作成日 2023-09-20
21
eagle-hq/EAGLE-4

EAGLE-4の公式推論コード

eagle-hq
⭐ 1,220 Python 👤 eagle-hq Organization 🕐 更新日時 2026-11-13 📅 作成日 2026-10-20
22
StayLameBro/backburner

iPhoneがMacによる270億パラメータモデルの実行を支援:USB-Cケーブル経由でプロンプトの読み込みが高速化し、より長いコンテキストに対応

StayLameBro
⭐ 1,195 Python 👤 StayLameBro User 🕐 更新日時 2026-11-07 📅 作成日 2026-10-01
23
vllm-project/speculators

vLLMにおけるLLM推論のための投機的デコーディングアルゴリズムを構築、評価、保存するための統合ライブラリ

vllm-project
⭐ 972 Python 👤 vllm-project Organization 🕐 更新日時 2026-11-20 📅 作成日 2025-04-08
24
chrisliu298/awesome-on-policy-distillation

大規模言語モデルのオン・ポリシー蒸留(OPD)に関する論文、技術レポート、フレームワーク、ツールの厳選コレクション

chrisliu298
⭐ 926 👤 chrisliu298 User 🕐 更新日時 2026-10-06 📅 作成日 2026-03-22
25
feifeibear/LLMSpeculativeSampling

投機的デコーディングによる大規模言語モデルからの高速推論

feifeibear
⭐ 875 Python 👤 feifeibear User 🕐 更新日時 2024-08-22 📅 作成日 2023-08-16
26
nace-ai/kapitsa

Qwen と Nemotron に最適化された、Apple Silicon 向けの超高速推論エンジン。OpenAI と Anthropic の API に対応。nace.ai のチームが開発。

nace-ai
⭐ 840 C++ 👤 nace-ai Organization 🕐 更新日時 2026-11-21 📅 作成日 2026-10-16
27
ARahim3/kaggle-tpu-lab

無料の Kaggle TPU v5e-8 上で動作する最先端クラスのオープンモデル:GLM-5.3-Flash 320B MoE(約165 tok/s、独自の JAX エンジン使用)と Qwen3.8-27B bf16(約130 tok/s)。262k コンテキスト、プレフィックスキャッシュに対応。Claude Code、Codex、opencode、pi で利用できます。

ARahim3
⭐ 812 Python 👤 ARahim3 User 🕐 更新日時 2026-10-06 📅 作成日 2026-08-31
28
ARahim3/mlx-dspark

Apple Silicon上でLLMデコードを最大4倍高速化、ロスレス。DeepSeekのDSparkとz-labのDFlashによる投機的デコーディングのネイティブMLX移植版 — Gemma-4、Qwen3.8、Muse-Glimmer、Nemotron、LFM2.5、Ornith-1.0、三値のBonsai-27Bに対応。

ARahim3
⭐ 743 Python 👤 ARahim3 User 🕐 更新日時 2026-11-08 📅 作成日 2026-06-29
29
prabanta-dev/janas

32 GBのノートPCでQwen3-Next-80B(48 GB)を37 tok/sで実行。ドラフトなしでは24 tok/sで、llama.cppの2.8 tok/sを上回ります。読み込み速度は62 tok/s対16 tok/s。Q4_K_Mで比較した13モデルすべてでllama.cppより高速。RAM容量を超えるLLMを、純粋なCでCPUまたはGPU上で実行。

prabanta-dev
⭐ 738 C 👤 prabanta-dev Organization 🕐 更新日時 2026-11-20 📅 作成日 2026-09-20
30
Avarok-Cybersecurity/atlas

純粋なRust推論エンジン

Avarok-Cybersecurity
⭐ 737 Rust 👤 Avarok-Cybersecurity Organization 🕐 更新日時 2026-11-16 📅 作成日 2026-05-05
32
MDK8888/GPTFast

Hugging Face Transformersを7.6~9倍高速化します。Hugging FaceとPyTorchネイティブ。

MDK8888
⭐ 687 Python 👤 MDK8888 User 🕐 更新日時 2024-08-22 📅 作成日 2024-02-18
33
Nehanth/pooled

ブラウザ上でのP2P LLM推論:デバイスを共有して、大規模なオープンモデルをチャットやコーディングエージェント向けに実行します。

Nehanth
⭐ 658 JavaScript 👤 Nehanth User 🕐 更新日時 2026-11-03 📅 作成日 2026-09-01
35
zengxiao-he/tessera

教師からタイルへ — ゼロから構築したLLM蒸留&サービングエンジン:カスタムTriton/CUDAカーネル、FSDP蒸留、ページングKV連続バッチ処理、投機的デコード、Rustゲートウェイ、JAXオラクル、解釈可能性ツール。

zengxiao-he
⭐ 556 Python 👤 zengxiao-he User 🕐 更新日時 2026-10-09 📅 作成日 2026-06-05
36
turboderp-org/exui

ExLlamaV2用Web UI

turboderp-org
⭐ 513 JavaScript 👤 turboderp-org Organization 🕐 更新日時 2025-02-05 📅 作成日 2023-10-29
37
AEON-7/Qwen3.6-27B-AEON-Ultimate-Uncensored-DFlash

完全無検閲・能力強化版の Qwen3.6-27B。統合コンテナ ghcr.io/aeon-7/aeon-vllm-ultimate:latest 上で NVFP4 + z-lab DFlash 推測デコーディング(n=12)を使用し、DGX Spark における長文コンテキストのドラフト受理率向けに調整。HF バリアント 6 種(BF16/NVFP4/MTP/MTP-XS)、docker-compose、QuickStart を提供。

AEON-7
⭐ 501 Python 👤 AEON-7 User 🕐 更新日時 2026-11-13 📅 作成日 2026-04-25

よくある質問

1

GitHubで最も人気のある#speculative-decodingリポジトリは何ですか?

GitHubで最も上位にランクインしているオープンソースの#speculative-decodingプロジェクトは、11,898個のスターを獲得しているOpenBMB/MiniCPMです。MiniCPM5:デバイス上で動く最先端LLM、小さくても強力。

2

#speculative-decodingリポジトリで最もよく使われているプログラミング言語は何ですか?

GitHubで上位にランクインしている#speculative-decodingプロジェクトでは、Python, C++, Jupyter Notebook, JavaScriptが最も一般的なプログラミング言語です。

3

#speculative-decodingリポジトリのランキングはどのように算出されていますか?

#speculative-decodingのタグが付いた37件のアクティブなオープンソースリポジトリ(スター500個以上)を追跡しています。合計スター数は83,160個で、リポジトリあたりの平均は2,247個です。ランキングはGitHub APIからのデータに基づいて毎日更新されます。