#mixture-of-experts リポジトリ
リポジトリ合計78件
軽量大規模言語モデルMiniMindのソースコード解説、トークナイザー、RoPE、MoE、KV Cache、事前学習、SFT、LoRA、DPOなどの完全なプロセスを含む。
RAMの容量を超えるMoEモデルを実行。スマートフォン、ノートPC、エッジデバイスで最先端クラスのMoEを。ロスレスで、標準のllama.cpp上で動作。適応型ストリーミングオプティマイザー。あらゆるハードウェア、OS、モデル、量子化に対応し、ローカルのOpenAI互換サーバー経由で利用できます。
Tutel MoE:FP8/NVFP4/MXFP4を使用するGLM/Kimi/GPT/DeepSeek/Qwenをサポートする最適化Mixture-of-Expertsライブラリ
cuDNN Frontendは、cuDNNライブラリへのNVIDIAのモダンなオープンソース・エントリーポイントであり、高性能なオープンソース・カーネルの成長を続けるコレクションです。
無料の Kaggle TPU v5e-8 上で動作する最先端クラスのオープンモデル:GLM-5.3-Flash 320B MoE(約165 tok/s、独自の JAX エンジン使用)と Qwen3.8-27B bf16(約130 tok/s)。262k コンテキスト、プレフィックスキャッシュに対応。Claude Code、Codex、opencode、pi で利用できます。
32 GBのノートPCでQwen3-Next-80B(48 GB)を37 tok/sで実行。ドラフトなしでは24 tok/sで、llama.cppの2.8 tok/sを上回ります。読み込み速度は62 tok/s対16 tok/s。Q4_K_Mで比較した13モデルすべてでllama.cppより高速。RAM容量を超えるLLMを、純粋なCでCPUまたはGPU上で実行。
105 GBのAIモデルを、モデル全体を保存できないMacで実行。Qwen3.8-Flash-Nextの4ビット版をSSDからストリーミングし、メモリ16~64 GBのApple Silicon搭載Macで動作します。Swift、MLX、Metalによる完全ネイティブ実装。オフラインで動作し、Pythonは不要。CLI、Swiftライブラリ、Ollama/OpenAI/Anthropic APIに対応。Claude CodeおよびCodexでも利用できます。
Swiftletは、SwiftおよびMetalベースのランタイムであり、ストレージからエキスパートの重みをストリーミングすることで、Appleデバイス上で大規模なQwen Mixture-of-Expertsモデルをローカル実行します。これにより、iPhoneを含む低RAM環境でも35Bおよび80Bモデルの動作が可能になります。
Xolotl:DeepSeek-V4.1-Flashを552Bパラメータすべてで、1台のゲーミングPC(RTX 4090 + RAM 110 GB)上のローカルコーディングエージェントとして実行。エージェント時は約33 tok/s、高速モードでは約41 tok/s、コンテキスト長は512K。さらに、Inkling-2-Mini(Thinking Machines独自エンジン + MTPドラフター)、GLM-5.3-Flash、Qwen3.8、LFM3-Omniにも対応。MoEエキスパートをVRAM、RAM、NVMeに階層的に配置(Xolotl Direct)。OpenAI + Anthropic API。