#moe 仓库
探索 34 个标记为 #moe 的活跃开源 GitHub 仓库,它们累计获得 317,125 个 Star(平均每个项目 9,327 个)。该主题的领先项目是 vllm-project/vllm,拥有 97,302 个 Star。
共 34 个仓库
使用 PEFT 或全参数训练,对 600 多个 LLM(Qwen3.8、DeepSeek-V4、GLM-5.1、InternLM3、Llama4 等)和 300 多个 MLLM(Qwen3-VL、Qwen3-Omni、InternVL3.5、Ovis2.5、GLM5.3、Gemma4、LLaVA、Phi4 等)进行 CPT/SFT/DPO/GRPO(AAAI 2025)。
TensorRT LLM 为用户提供了一个易于使用的 Python API 来定义大型语言模型(LLM),并支持最先进的优化,以便在 NVIDIA GPU 上高效执行推理。TensorRT LLM 还包含用于创建 Python 和 C++ 运行时的组件,这些运行时以高性能的方式协调推理执行。
一个拥有 2.78 万亿参数的 Kimi K3 模型,在单核 CPU 和 8.24 GB 内存下运行推理。可移植 C99 代码:无 BLAS,无框架,无 GPU。
:electron: An unofficial https://bgm.tv ui first app client for Android and iOS, built with React Native. 一个无广告、以爱好为驱动、不以盈利为目的、专门做 ACG 的类似豆瓣的追番记录,bgm.tv 第三方客户端。为移动端重新设计,内置大量加强的网页端难以实现的功能,且提供了相当的自定义选项。 目前已适配 iOS / Android。
在您自己的 GPU 上运行 GLM-5.3(744B)、DeepSeek-V4.1-Flash(748B)、MiniMax-M3.1-Flash(428B)、GLM-5.3-Flash(321B)和 Hy4-Flash(220B)——最低仅需 8 GB 显存,支持 NVIDIA 和 AMD,统一仪表板,并提供兼容 OpenAI 和 Anthropic 的 API。
PyTorch 重新实现 "The Sparsely-Gated Mixture-of-Experts Layer" by Noam Shazeer et al. https://arxiv.org/abs/1701.06538
运行比内存容量更大的 MoE 模型。在手机、笔记本电脑或边缘设备上运行前沿级 MoE。无损,基于原版 llama.cpp。自适应流式优化器。支持任何硬件、任何操作系统、任何模型、任何量化方式,并通过本地兼容 OpenAI 的服务器提供服务。
DeepSeek-V3/R1 满血版 671B 全参数微调的开源解决方案,包含从训练到推理的完整代码和脚本,以及实践中积累一些经验和结论。
⚡ Apple Silicon 原生 MLX Swift LLM 推理服务器。兼容 OpenAI API,支持 100B+ MoE 模型的 SSD 流式传输,TurboQuant KV 缓存压缩,MACOS + iOS iPhone 应用。
[CVPR2026]🚀🚀🚀论文的官方代码 "YOLO-Master:MOE-Accelerated 与专用Transformer实现增强的实时检测。" *(YOLO = You Only Look Once)* 🔥🔥🔥
纯 Rust + CUDA 的 LLM 推理引擎——无需 PyTorch,兼容 OpenAI,支持从 Qwen3 到 Kimi-K2 的模型
在一台 32 GB 笔记本电脑上运行 Qwen3-Next-80B(48 GB),速度可达 37 tok/s;不使用草稿解码时为 24 tok/s,而 llama.cpp 为 2.8 tok/s;读取速度为 62 tok/s 对 16 tok/s。在 Q4_K_M 下对比的全部 13 个模型中,速度都快于 llama.cpp。运行比内存更大的 LLM,纯 C 实现,支持 CPU 或 GPU。
在无法容纳 105 GB 模型的 Mac 上运行它。Qwen3.8-Flash-Next 4-bit,可从 SSD 流式加载,在配备 16–64 GB 内存的 Apple Silicon Mac 上运行。完全采用原生 Swift、MLX 和 Metal。离线运行,无需 Python。提供 CLI、Swift 库以及 Ollama/OpenAI/Anthropic API。兼容 Claude Code 和 Codex。
面向 AI 秋招的中英双语 ML / LLM / diffusion / agent 面试速查表——由 ARIS /interview-cheatsheet 生成,通过 /render-html 渲染为可随处阅读的单文件 HTML——另有经 CV→DBLP 事实核查的学术主页生成器,以及亲自撰写的长篇博客 🌱
RTX PRO 6000 / RTX 5090 (sm_120) 上的前沿 MoE 模型:在 4 张 RTX PRO 6000 上运行 DeepSeek-V4.1-Flash、在 4 张 RTX 5090 上采用 GPU+CPU 混合方案,以及在 vLLM v0.24.0 上运行 2 位专家模型
Xolotl:在一台游戏 PC(RTX 4090 + 110 GB RAM)上,将完整的 552B 参数 DeepSeek-V4.1-Flash 作为本地编程代理运行:代理模式约 33 tok/s,快速模式约 41 tok/s,支持 512K 上下文。此外还有 Inkling-2-Mini(Thinking Machines,自有引擎 + MTP 草拟器)、GLM-5.3-Flash、Qwen3.8、LFM3-Omni。MoE 专家分层部署于 VRAM、RAM 和 NVMe 之间(Xolotl Direct)。支持 OpenAI + Anthropic API。
常见问题解答
GitHub 上最受欢迎的 #moe 仓库是什么?
GitHub 上排名第一的开源 #moe 项目是 vllm-project/vllm,拥有 97,302 个 Star。用于LLM的高吞吐量和内存高效的推理与服务引擎
#moe 仓库中最常使用的编程语言有哪些?
在 GitHub 上排名靠前的 #moe 项目中,最常见的编程语言是 Python, C++, C, Cuda。
#moe 仓库的排名是如何计算的?
我们跟踪了 34 个标记为 #moe 且拥有 500+ 个 Star 的活跃开源仓库,共计获得 317,125 个 Star,平均每个仓库拥有 9,327 个 Star。排名每日根据 GitHub API 更新。