#speculative-decoding リポジトリ
#speculative-decodingのタグが付いた、GitHub上の37件のアクティブなオープンソースリポジトリをご覧ください。合計スター数は83,160個で、プロジェクトあたりの平均は2,247個です。このトピックをリードしているのは、11,898個のスターを獲得しているOpenBMB/MiniCPMです。
リポジトリ合計37件
これは、興味深く最先端の技術的概念と原則を説明することに主に焦点を当てた、簡単な技術科普チュートリアルプロジェクトです。各記事は5分以内に読了できるように努めています。
量子化、蒸留、プルーニング、ニューラルアーキテクチャ探索、推論的デコードなどのSOTAモデル最適化技術を統合したライブラリ。TensorRT-LLM、TensorRT、vLLMなどのダウンストリームデプロイメントフレームワーク向けにディープラーニングモデルを圧縮し、推論速度を最適化します。
Rapid-MLX は、Apple Silicon 向けのオープンソース(Apache 2.0)LLM 推論サーバーです。MLX を基盤とし、OpenAI および Anthropic と互換性があり、コーディングエージェント向けの信頼性の高いツール呼び出しに重点を置いています。同じ重みを使用した場合、Apple の MLX(mlx-lm)より最大 4 倍高速です。
実際に所有しているGPUで、大規模なQwenモデルを高速にサーブします。vLLMを使い、24 GBのカード1枚でQwen3.8-27Bを実行:単一ユーザーで127 tok/s(回答がプロンプトを引用する場合は381 tok/s)、64並列で約1,035 tok/s、コンテキスト長は150k~262k。vLLMのパッチ、再量子化パイプライン、ベンチマーク。
MacでQwen 3.8 Flash Next、Qwen 3.8 27B、Ternary Bonsai 2 27Bを実行する最速の方法:M5 Max上のOpenCodeで125トークン/秒、16 GBのMacで27Bモデルを実行可能。Apple Silicon上でネイティブMTP投機的デコードに対応し、どの温度設定でも正確です。OpenAIおよびAnthropic互換のローカルサーバー。
あらゆるハードウェアと量子化設定で、ローカルLLMのサービング速度(デコード、投機的デコード、プレフィル、KV、起動、TTFT)を段階的に最適化するエージェントスキル
最先端APIのように動作するローカル推論:AMD Strix Halo上のQwen3.8-Flash-Nextと小型NPUモデルを、OpenAIおよびAnthropicのAPI経由で単一ポートから利用。
30B~284BのMoEモデル向け、GPU不要のCPU推論(Qwen3.8 176.5Bは28.26/48.35 GiBのCgroup v2コールドキャッシュ環境で認証済み、DeepSeek-V4 284B、Nemotron-30B)+RouteCrack 2.0。
大規模な AI モデルを自分の PC で実行できます。Strata のエンジンでは Qwen3.8-Flash-Next を、PolyStrata 向けに開発された第 2 のエンジンでは GLM 5.3 Flash、DeepSeek V4 Flash、LFM2.5、Qwen3.6、Ornith 1.5、Gemma 4、Tiel Coder、MiniCPM-V を実行できます。Windows と Linux にワンクリックでインストールでき、localhost で OpenAI/Anthropic API を利用できます。
大規模言語モデルのオン・ポリシー蒸留(OPD)に関する論文、技術レポート、フレームワーク、ツールの厳選コレクション
Qwen と Nemotron に最適化された、Apple Silicon 向けの超高速推論エンジン。OpenAI と Anthropic の API に対応。nace.ai のチームが開発。
無料の Kaggle TPU v5e-8 上で動作する最先端クラスのオープンモデル:GLM-5.3-Flash 320B MoE(約165 tok/s、独自の JAX エンジン使用)と Qwen3.8-27B bf16(約130 tok/s)。262k コンテキスト、プレフィックスキャッシュに対応。Claude Code、Codex、opencode、pi で利用できます。
Apple Silicon上でLLMデコードを最大4倍高速化、ロスレス。DeepSeekのDSparkとz-labのDFlashによる投機的デコーディングのネイティブMLX移植版 — Gemma-4、Qwen3.8、Muse-Glimmer、Nemotron、LFM2.5、Ornith-1.0、三値のBonsai-27Bに対応。
32 GBのノートPCでQwen3-Next-80B(48 GB)を37 tok/sで実行。ドラフトなしでは24 tok/sで、llama.cppの2.8 tok/sを上回ります。読み込み速度は62 tok/s対16 tok/s。Q4_K_Mで比較した13モデルすべてでllama.cppより高速。RAM容量を超えるLLMを、純粋なCでCPUまたはGPU上で実行。
教師からタイルへ — ゼロから構築したLLM蒸留&サービングエンジン:カスタムTriton/CUDAカーネル、FSDP蒸留、ページングKV連続バッチ処理、投機的デコード、Rustゲートウェイ、JAXオラクル、解釈可能性ツール。
完全無検閲・能力強化版の Qwen3.6-27B。統合コンテナ ghcr.io/aeon-7/aeon-vllm-ultimate:latest 上で NVFP4 + z-lab DFlash 推測デコーディング(n=12)を使用し、DGX Spark における長文コンテキストのドラフト受理率向けに調整。HF バリアント 6 種(BF16/NVFP4/MTP/MTP-XS)、docker-compose、QuickStart を提供。
よくある質問
GitHubで最も人気のある#speculative-decodingリポジトリは何ですか?
GitHubで最も上位にランクインしているオープンソースの#speculative-decodingプロジェクトは、11,898個のスターを獲得しているOpenBMB/MiniCPMです。MiniCPM5:デバイス上で動く最先端LLM、小さくても強力。
#speculative-decodingリポジトリで最もよく使われているプログラミング言語は何ですか?
GitHubで上位にランクインしている#speculative-decodingプロジェクトでは、Python, C++, Jupyter Notebook, JavaScriptが最も一般的なプログラミング言語です。
#speculative-decodingリポジトリのランキングはどのように算出されていますか?
#speculative-decodingのタグが付いた37件のアクティブなオープンソースリポジトリ(スター500個以上)を追跡しています。合計スター数は83,160個で、リポジトリあたりの平均は2,247個です。ランキングはGitHub APIからのデータに基づいて毎日更新されます。