#moe Репозитории
Откройте для себя 34 активных репозиториев с открытым исходным кодом на GitHub, отмеченных тегом #moe, с общим числом 317,125 звёзд (в среднем 9,327 на проект). Лидером этой темы является vllm-project/vllm, набравший 97,302 звёзд.
Всего репозиториев: 34
Высокопроизводительный и эффективный по памяти движок для инференса и обслуживания LLM
SGLang — это высокопроизводительный фреймворк для обслуживания больших языковых моделей и мультимодальных моделей.
FreeToken переносит обслуживание моделей масштаба дата-центра на ваш рабочий стол. Запускайте масштабные модели локально, быстро и эффективно.
Используйте PEFT или обучение всех параметров для выполнения CPT/SFT/DPO/GRPO на более чем 600 LLM (Qwen3.8, DeepSeek-V4, GLM-5.1, InternLM3, Llama4 и др.) и более чем 300 MLLM (Qwen3-VL, Qwen3-Omni, InternVL3.5, Ovis2.5, GLM5.3, Gemma4, LLaVA, Phi4 и др.) (AAAI 2025).
TensorRT LLM предоставляет пользователям простой в использовании Python API для определения больших языковых моделей (LLM) и поддерживает современные оптимизации для эффективного выполнения вывода на графических процессорах NVIDIA. TensorRT LLM также содержит компоненты для создания сред выполнения Python и C++, которые оркеструют выполнение вывода производительным способом.
Модель Kimi K3 с 2,78 триллионами параметров, выполняющая логический вывод на одном процессоре с 8,24 ГБ оперативной памяти. Портативный C99: без BLAS, без фреймворков, без GPU.
:electron: Неофициальный клиент приложения https://bgm.tv с приоритетом UI для Android и iOS, построенный на React Native. Без рекламы, мотивированный хобби, без цели прибыли, специализированный на ACG, похожий на Douban для отслеживания аниме, сторонний клиент bgm.tv. Переработан для мобильных устройств, включает множество улучшенных функций, трудно реализуемых на веб-версии, и предоставляет значительные опции настройки. На данный момент адаптирован для iOS / Android.
Запускайте GLM-5.3 (744B), DeepSeek-V4.1-Flash (748B), MiniMax-M3.1-Flash (428B), GLM-5.3-Flash (321B) и Hy4-Flash (220B) на собственных GPU — от 8 ГБ видеопамяти, с поддержкой NVIDIA и AMD, единой панелью управления и API, совместимым с OpenAI и Anthropic.
UCCL — это эффективная библиотека связи для GPU, охватывающая коллективные операции, P2P (например, передача кеша KV, передача весов RL) и EP (например, управляемый GPU).
Запускайте модели, превышающие объём вашей RAM или VRAM, загружая экспертов MoE с SSD в потоковом режиме. Основано на llama.cpp.
Реализация на PyTorch "The Sparsely-Gated Mixture-of-Experts Layer" от Noam Shazeer и соавт. https://arxiv.org/abs/1701.06538
Запускайте MoE-модели, превышающие объём вашей оперативной памяти. MoE передового уровня на телефоне, ноутбуке или edge-устройстве. Без потерь, на стандартном llama.cpp. Адаптивный потоковый оптимизатор. Любое оборудование, любая ОС, любая модель и квантование — через локальный сервер, совместимый с OpenAI.
Tutel MoE: оптимизированная библиотека Mixture-of-Experts с поддержкой GLM/Kimi/GPT/DeepSeek/Qwen и форматов FP8/NVFP4/MXFP4
Запустите Kimi K3 локально на процессоре с использованием около 55 ГБ оперативной памяти во время выполнения. Однофайловый сервер логического вывода для Linux на базе cPilot Runtime.
cuDNN Frontend — это современная open-source точка входа NVIDIA в библиотеку cuDNN и растущую коллекцию высокопроизводительных open-source ядер.
⛷️ LLaMA-MoE: Создание Mixture-of-Experts из LLaMA с непрерывным предварительным обучением (EMNLP 2024)
Halo — это фреймворк с открытым исходным кодом, разработанный White Circle для обучения больших языковых и мультимодальных моделей
Adan: Адаптивный алгоритм импульса Нестерова для более быстрой оптимизации глубоких моделей
Open-source решение для полнопараметрической тонкой настройки DeepSeek-V3/R1 671B, включающее полный код и скрипты от обучения до инференса, а также некоторый практический опыт и выводы.
⚡ Нативный сервер вывода MLX Swift LLM для Apple Silicon. API, совместимый с OpenAI, потоковая передача с SSD для моделей MoE 100B+, сжатие TurboQuant KV-кеша, приложение для MACOS + iOS iPhone.
[CVPR2026]🚀🚀🚀Официальный код для статьи "YOLO-Master: MOE-Accelerated с специализированными трансформерами для улучшенного обнаружения в реальном времени." *(YOLO = You Only Look Once)* 🔥🔥🔥
Чистый движок вывода LLM на Rust + CUDA — без PyTorch, совместим с OpenAI, обслуживает от Qwen3 до Kimi-K2
37 ток/с на Qwen3-Next-80B (48 ГБ) на ноутбуке с 32 ГБ памяти; 24 ток/с без черновой генерации против 2,8 у llama.cpp; скорость чтения — 62 против 16 ток/с. Быстрее llama.cpp на всех 13 моделях, сравнивавшихся в Q4_K_M. Запускайте LLM, превышающие объём вашей RAM, на чистом C — на CPU или GPU.
Запускайте ИИ-модель размером 105 ГБ на Mac, на котором она не помещается целиком. Qwen3.8-Flash-Next в 4-битном формате загружается потоком с SSD на компьютерах Mac с Apple Silicon и 16–64 ГБ памяти. Полностью нативная реализация на Swift, MLX и Metal. Работает офлайн, без Python. CLI, библиотека Swift и API Ollama/OpenAI/Anthropic. Совместима с Claude Code и Codex.
Двуязычные (китайский + английский) шпаргалки для собеседований по ML / LLM / diffusion / agent в рамках осеннего набора специалистов по ИИ — созданы с помощью ARIS /interview-cheatsheet и преобразованы посредством /render-html в одnofайловый HTML, который можно читать где угодно, — а также генератор академических домашних страниц с проверкой фактов по CV→DBLP и самостоятельно написанные блоги большого объёма 🌱
Китайские большие языковые модели Mixtral Mixture-of-Experts (Chinese Mixtral MoE LLMs)
Передовые MoE-модели на RTX PRO 6000 / RTX 5090 (sm_120): DeepSeek-V4.1-Flash на 4 RTX PRO 6000, гибридная конфигурация GPU+CPU на 4 RTX 5090 и 2-битные эксперты в vLLM v0.24.0
Xolotl: запускайте DeepSeek-V4.1-Flash со всеми 552B параметров как локального агента для программирования на одном игровом ПК (RTX 4090 + 110 ГБ ОЗУ): около 33 токенов/с в режиме агента, около 41 в быстром режиме, контекст 512K. Также доступны Inkling-2-Mini (Thinking Machines, собственный движок + модуль создания черновиков MTP), GLM-5.3-Flash, Qwen3.8 и LFM3-Omni. Эксперты MoE распределяются по уровням между VRAM, ОЗУ и NVMe (Xolotl Direct). API OpenAI + Anthropic.
Часто задаваемые вопросы
Какой репозиторий по теме #moe наиболее популярен на GitHub?
Самый высоко оценённый проект с открытым исходным кодом по теме #moe на GitHub — vllm-project/vllm, набравший 97,302 звёзд. Высокопроизводительный и эффективный по памяти движок для инференса и обслуживания LLM
Какие языки программирования чаще всего используются в репозиториях по теме #moe?
Среди наиболее высоко оценённых проектов по теме #moe на GitHub чаще всего используются языки программирования Python, C++, C, Cuda.
Как рассчитывается рейтинг репозиториев по теме #moe?
Мы отслеживаем 34 активных репозиториев с открытым исходным кодом, отмеченных тегом #moe (500 и более звёзд), с общим числом 317,125 звёзд и в среднем 9,327 звёзд на репозиторий. Рейтинги обновляются ежедневно на основе данных GitHub API.