Git Stars Git Stars

#mixture-of-experts 仓库

78
仓库总数
392,641
总星标数
5,033
平均每个仓库星标数
51
hans0809/MiniMind-in-Depth

轻量级大语言模型MiniMind的源码解读,包含tokenizer、RoPE、MoE、KV Cache、pretraining、SFT、LoRA、DPO等完整流程

hans0809
⭐ 1,072 👤 hans0809 User 🕐 已更新 2025-06-16 📅 创建时间 2025-06-16
52
Helldez/BigMoeOnEdge

运行比内存容量更大的 MoE 模型。在手机、笔记本电脑或边缘设备上运行前沿级 MoE。无损,基于原版 llama.cpp。自适应流式优化器。支持任何硬件、任何操作系统、任何模型、任何量化方式,并通过本地兼容 OpenAI 的服务器提供服务。

Helldez
⭐ 1,066 C++ 👤 Helldez User 🕐 已更新 2026-11-21 📅 创建时间 2026-07-10
53
jondurbin/airoboros

Customizable implementation of the self-instruct paper 的可定制实现。

jondurbin
⭐ 1,050 Python 👤 jondurbin User 🕐 已更新 2024-03-07 📅 创建时间 2023-04-29
54
microsoft/Tutel

Tutel MoE:优化的混合专家库,支持使用 FP8/NVFP4/MXFP4 的 GLM/Kimi/GPT/DeepSeek/Qwen

microsoft
⭐ 1,027 C 👤 microsoft Organization 🕐 已更新 2026-11-06 📅 创建时间 2021-08-06
55
NVIDIA/cudnn-frontend

cuDNN Frontend 是 NVIDIA 通往 cuDNN 库的现代化开源入口,也是一个不断增长的高性能开源内核集合。

NVIDIA
⭐ 1,008 Cuda 👤 NVIDIA Organization 🕐 已更新 2026-11-21 📅 创建时间 2021-01-22
56
pjlab-sys4nlp/llama-moe

⛷️ LLaMA-MoE:使用持续预训练从 LLaMA 构建专家混合模型 (EMNLP 2024)

pjlab-sys4nlp
⭐ 1,004 Python 👤 pjlab-sys4nlp Organization 🕐 已更新 2024-12-06 📅 创建时间 2023-07-24
57
myshell-ai/JetMoE

用 10 万美元达到 LLaMA2 性能

myshell-ai
⭐ 988 Python 👤 myshell-ai Organization 🕐 已更新 2024-07-23 📅 创建时间 2024-04-02
58
SMTorg/smt

SMT:替代建模工具箱

SMTorg
⭐ 927 Jupyter Notebook 👤 SMTorg Organization 🕐 已更新 2026-11-16 📅 创建时间 2016-11-08
59
InternLM/Intern-S1

一个科学的多模态基础模型

InternLM
⭐ 876 👤 InternLM Organization 🕐 已更新 2026-09-13 📅 创建时间 2025-07-25
60
ARahim3/kaggle-tpu-lab

在免费的 Kaggle TPU v5e-8 上运行前沿级开源模型:GLM-5.3-Flash 320B MoE(约 165 token/秒,采用我们自研的 JAX 引擎)和 Qwen3.8-27B bf16(约 130 token/秒),支持 262K 上下文和前缀缓存。可与 Claude Code、Codex、opencode 和 pi 配合使用。

ARahim3
⭐ 812 Python 👤 ARahim3 User 🕐 已更新 2026-10-06 📅 创建时间 2026-08-31
62
Dao-AILab/sonic-moe

加速 MoE 与 IO 和分块感知优化

Dao-AILab
⭐ 791 Python 👤 Dao-AILab Organization 🕐 已更新 2026-08-29 📅 创建时间 2025-12-15
63
AviSoori1x/makeMoE

受Andrej Karpathy的makemore启发,从头开始实现的稀疏专家混合语言模型 :)

AviSoori1x
⭐ 783 Jupyter Notebook 👤 AviSoori1x User 🕐 已更新 2024-10-30 📅 创建时间 2024-01-22
64
datawhalechina/unlock-deepseek

DeepSeek 系列工作解读、扩展和复现。

datawhalechina
⭐ 743 Python 👤 datawhalechina Organization 🕐 已更新 2026-03-09 📅 创建时间 2025-01-30
65
prabanta-dev/janas

在一台 32 GB 笔记本电脑上运行 Qwen3-Next-80B(48 GB),速度可达 37 tok/s;不使用草稿解码时为 24 tok/s,而 llama.cpp 为 2.8 tok/s;读取速度为 62 tok/s 对 16 tok/s。在 Q4_K_M 下对比的全部 13 个模型中,速度都快于 llama.cpp。运行比内存更大的 LLM,纯 C 实现,支持 CPU 或 GPU。

prabanta-dev
⭐ 738 C 👤 prabanta-dev Organization 🕐 已更新 2026-11-20 📅 创建时间 2026-09-20
66
deepseek-ai/ESFT

专家专业微调

deepseek-ai
⭐ 737 Python 👤 deepseek-ai Organization 🕐 已更新 2025-05-22 📅 创建时间 2024-07-04
68
inclusionAI/Ming

Ming - 建立在 Ling LLM 之上的,用于促进先进的多模态理解和生成能力。

inclusionAI
⭐ 683 Jupyter Notebook 👤 inclusionAI Organization 🕐 已更新 2026-07-27 📅 创建时间 2025-04-21
69
carloslfu/slotstream

在无法容纳 105 GB 模型的 Mac 上运行它。Qwen3.8-Flash-Next 4-bit,可从 SSD 流式加载,在配备 16–64 GB 内存的 Apple Silicon Mac 上运行。完全采用原生 Swift、MLX 和 Metal。离线运行,无需 Python。提供 CLI、Swift 库以及 Ollama/OpenAI/Anthropic API。兼容 Claude Code 和 Codex。

carloslfu
⭐ 674 Swift 👤 carloslfu User 🕐 已更新 2026-11-17 📅 创建时间 2026-08-28
70
leonickson1/Swiftlet

Swiftlet 是一个基于 Swift 和 Metal 的运行时,通过从存储中流式传输专家权重,在 Apple 设备上本地运行大型 Qwen 混合专家模型,从而使 35B 和 80B 模型能够在低内存环境下运行,包括在 iPhone 上。

leonickson1
⭐ 667 Swift 👤 leonickson1 User 🕐 已更新 2026-11-17 📅 创建时间 2026-08-03
71
codecaution/Awesome-Mixture-of-Experts-Papers

精选的关于专家混合(MoE)的研究阅读列表。

codecaution
⭐ 654 👤 codecaution User 🕐 已更新 2024-10-30 📅 创建时间 2022-02-24
72
perplexityai/pplx-kernels

困惑度 GPU 核函数

perplexityai
⭐ 614 C++ 👤 perplexityai Organization 🕐 已更新 2025-11-07 📅 创建时间 2025-03-24
73
ymcui/Chinese-Mixtral

中文Mixtral混合专家大模型 (Chinese Mixtral MoE LLMs)

ymcui
⭐ 613 Python 👤 ymcui User 🕐 已更新 2026-04-19 📅 创建时间 2024-01-11
74
fe1ixxu/ALMA

最先进的基于LLM的翻译模型。

fe1ixxu
⭐ 585 Ruby 👤 fe1ixxu User 🕐 已更新 2025-04-09 📅 创建时间 2023-09-13
76
Indras-Mirror/Xolotl

Xolotl:在一台游戏 PC(RTX 4090 + 110 GB RAM)上,将完整的 552B 参数 DeepSeek-V4.1-Flash 作为本地编程代理运行:代理模式约 33 tok/s,快速模式约 41 tok/s,支持 512K 上下文。此外还有 Inkling-2-Mini(Thinking Machines,自有引擎 + MTP 草拟器)、GLM-5.3-Flash、Qwen3.8、LFM3-Omni。MoE 专家分层部署于 VRAM、RAM 和 NVMe 之间(Xolotl Direct)。支持 OpenAI + Anthropic API。

Indras-Mirror
⭐ 549 C++ 👤 Indras-Mirror User 🕐 已更新 2026-11-21 📅 创建时间 2026-10-06
77
brontoguana/krasis

Krasis 是一个混合型 LLM 运行时,专注于在显存受限的消费级硬件上高效运行大型模型

brontoguana
⭐ 530 C++ 👤 brontoguana User 🕐 已更新 2026-11-12 📅 创建时间 2026-02-09
78
Leeroo-AI/mergoo

一个用于轻松合并多个LLM专家并有效训练合并后LLM的库。

Leeroo-AI
⭐ 500 Python 👤 Leeroo-AI Organization 🕐 已更新 2024-08-26 📅 创建时间 2024-04-08