Git Stars Git Stars

#mixture-of-experts リポジトリ

78
リポジトリ総数
392,641
合計スター数
5,033
リポジトリあたりの平均スター数

リポジトリ合計78件

51
hans0809/MiniMind-in-Depth

軽量大規模言語モデルMiniMindのソースコード解説、トークナイザー、RoPE、MoE、KV Cache、事前学習、SFT、LoRA、DPOなどの完全なプロセスを含む。

hans0809
⭐ 1,072 👤 hans0809 User 🕐 更新日時 2025-06-16 📅 作成日 2025-06-16
52
Helldez/BigMoeOnEdge

RAMの容量を超えるMoEモデルを実行。スマートフォン、ノートPC、エッジデバイスで最先端クラスのMoEを。ロスレスで、標準のllama.cpp上で動作。適応型ストリーミングオプティマイザー。あらゆるハードウェア、OS、モデル、量子化に対応し、ローカルのOpenAI互換サーバー経由で利用できます。

Helldez
⭐ 1,066 C++ 👤 Helldez User 🕐 更新日時 2026-11-21 📅 作成日 2026-07-10
53
jondurbin/airoboros

Self-Instruct論文のカスタマイズ可能な実装。

jondurbin
⭐ 1,050 Python 👤 jondurbin User 🕐 更新日時 2024-03-07 📅 作成日 2023-04-29
54
microsoft/Tutel

Tutel MoE:FP8/NVFP4/MXFP4を使用するGLM/Kimi/GPT/DeepSeek/Qwenをサポートする最適化Mixture-of-Expertsライブラリ

microsoft
⭐ 1,027 C 👤 microsoft Organization 🕐 更新日時 2026-11-06 📅 作成日 2021-08-06
55
NVIDIA/cudnn-frontend

cuDNN Frontendは、cuDNNライブラリへのNVIDIAのモダンなオープンソース・エントリーポイントであり、高性能なオープンソース・カーネルの成長を続けるコレクションです。

NVIDIA
⭐ 1,008 Cuda 👤 NVIDIA Organization 🕐 更新日時 2026-11-21 📅 作成日 2021-01-22
56
pjlab-sys4nlp/llama-moe

⛷️ LLaMA-MoE: LLaMAからのMixture-of-Expertsの構築と継続的な事前学習(EMNLP 2024)

pjlab-sys4nlp
⭐ 1,004 Python 👤 pjlab-sys4nlp Organization 🕐 更新日時 2024-12-06 📅 作成日 2023-07-24
57
myshell-ai/JetMoE

0.1M ドルで LLaMA2 のパフォーマンスを達成する

myshell-ai
⭐ 988 Python 👤 myshell-ai Organization 🕐 更新日時 2024-07-23 📅 作成日 2024-04-02
58
SMTorg/smt

SMT: サロゲートモデリングツールボックス

SMTorg
⭐ 927 Jupyter Notebook 👤 SMTorg Organization 🕐 更新日時 2026-11-16 📅 作成日 2016-11-08
59
InternLM/Intern-S1

科学的マルチモーダル基盤モデル

InternLM
⭐ 876 👤 InternLM Organization 🕐 更新日時 2026-09-13 📅 作成日 2025-07-25
60
ARahim3/kaggle-tpu-lab

無料の Kaggle TPU v5e-8 上で動作する最先端クラスのオープンモデル:GLM-5.3-Flash 320B MoE(約165 tok/s、独自の JAX エンジン使用)と Qwen3.8-27B bf16(約130 tok/s)。262k コンテキスト、プレフィックスキャッシュに対応。Claude Code、Codex、opencode、pi で利用できます。

ARahim3
⭐ 812 Python 👤 ARahim3 User 🕐 更新日時 2026-10-06 📅 作成日 2026-08-31
62
Dao-AILab/sonic-moe

IO およびタイル認識最適化による MoE の高速化

Dao-AILab
⭐ 791 Python 👤 Dao-AILab Organization 🕐 更新日時 2026-08-29 📅 作成日 2025-12-15
63
AviSoori1x/makeMoE

Andrej Karpathy の makemore に触発された、スパース混合エキスパート言語モデルのスクラッチからの実装 :)

AviSoori1x
⭐ 783 Jupyter Notebook 👤 AviSoori1x User 🕐 更新日時 2024-10-30 📅 作成日 2024-01-22
64
datawhalechina/unlock-deepseek

DeepSeekシリーズの操作に関する解説、拡張、再現。

datawhalechina
⭐ 743 Python 👤 datawhalechina Organization 🕐 更新日時 2026-03-09 📅 作成日 2025-01-30
65
prabanta-dev/janas

32 GBのノートPCでQwen3-Next-80B(48 GB)を37 tok/sで実行。ドラフトなしでは24 tok/sで、llama.cppの2.8 tok/sを上回ります。読み込み速度は62 tok/s対16 tok/s。Q4_K_Mで比較した13モデルすべてでllama.cppより高速。RAM容量を超えるLLMを、純粋なCでCPUまたはGPU上で実行。

prabanta-dev
⭐ 738 C 👤 prabanta-dev Organization 🕐 更新日時 2026-11-20 📅 作成日 2026-09-20
66
deepseek-ai/ESFT

専門特化ファインチューニング

deepseek-ai
⭐ 737 Python 👤 deepseek-ai Organization 🕐 更新日時 2025-05-22 📅 作成日 2024-07-04
68
inclusionAI/Ming

Ming - Ling LLM 上で構築された、高度なマルチモーダルな理解および生成機能を促進します。

inclusionAI
⭐ 683 Jupyter Notebook 👤 inclusionAI Organization 🕐 更新日時 2026-07-27 📅 作成日 2025-04-21
69
carloslfu/slotstream

105 GBのAIモデルを、モデル全体を保存できないMacで実行。Qwen3.8-Flash-Nextの4ビット版をSSDからストリーミングし、メモリ16~64 GBのApple Silicon搭載Macで動作します。Swift、MLX、Metalによる完全ネイティブ実装。オフラインで動作し、Pythonは不要。CLI、Swiftライブラリ、Ollama/OpenAI/Anthropic APIに対応。Claude CodeおよびCodexでも利用できます。

carloslfu
⭐ 674 Swift 👤 carloslfu User 🕐 更新日時 2026-11-17 📅 作成日 2026-08-28
70
leonickson1/Swiftlet

Swiftletは、SwiftおよびMetalベースのランタイムであり、ストレージからエキスパートの重みをストリーミングすることで、Appleデバイス上で大規模なQwen Mixture-of-Expertsモデルをローカル実行します。これにより、iPhoneを含む低RAM環境でも35Bおよび80Bモデルの動作が可能になります。

leonickson1
⭐ 667 Swift 👤 leonickson1 User 🕐 更新日時 2026-11-17 📅 作成日 2026-08-03
71
codecaution/Awesome-Mixture-of-Experts-Papers

Mixture-of-Experts (MoE) の研究に関するキュレーションされた読書リスト。

codecaution
⭐ 654 👤 codecaution User 🕐 更新日時 2024-10-30 📅 作成日 2022-02-24
72
perplexityai/pplx-kernels

パープレキシティ GPU カーネル

perplexityai
⭐ 614 C++ 👤 perplexityai Organization 🕐 更新日時 2025-11-07 📅 作成日 2025-03-24
73
ymcui/Chinese-Mixtral

中国語Mixtral Mixture-of-Experts LLM (Chinese Mixtral MoE LLMs)

ymcui
⭐ 613 Python 👤 ymcui User 🕐 更新日時 2026-04-19 📅 作成日 2024-01-11
74
fe1ixxu/ALMA

最先端のLLMベースの翻訳モデル。

fe1ixxu
⭐ 585 Ruby 👤 fe1ixxu User 🕐 更新日時 2025-04-09 📅 作成日 2023-09-13
76
Indras-Mirror/Xolotl

Xolotl:DeepSeek-V4.1-Flashを552Bパラメータすべてで、1台のゲーミングPC(RTX 4090 + RAM 110 GB)上のローカルコーディングエージェントとして実行。エージェント時は約33 tok/s、高速モードでは約41 tok/s、コンテキスト長は512K。さらに、Inkling-2-Mini(Thinking Machines独自エンジン + MTPドラフター)、GLM-5.3-Flash、Qwen3.8、LFM3-Omniにも対応。MoEエキスパートをVRAM、RAM、NVMeに階層的に配置(Xolotl Direct)。OpenAI + Anthropic API。

Indras-Mirror
⭐ 549 C++ 👤 Indras-Mirror User 🕐 更新日時 2026-11-21 📅 作成日 2026-10-06
77
brontoguana/krasis

Krasisは、VRAMが制限されたコンシューマー向けハードウェア上で大規模モデルを効率的に実行することに重点を置いたハイブリッドLLMランタイムです

brontoguana
⭐ 530 C++ 👤 brontoguana User 🕐 更新日時 2026-11-12 📅 作成日 2026-02-09
78
Leeroo-AI/mergoo

複数のLLM専門家を簡単にマージし、マージされたLLMを効率的にトレーニングするためのライブラリ。

Leeroo-AI
⭐ 500 Python 👤 Leeroo-AI Organization 🕐 更新日時 2024-08-26 📅 作成日 2024-04-08