#mixture-of-experts Репозитории
Всего репозиториев: 78
Разбор исходного кода легковесной большой языковой модели MiniMind, включающий полные процессы, такие как токенизатор, RoPE, MoE, KV Cache, предварительное обучение, SFT, LoRA, DPO.
Запускайте MoE-модели, превышающие объём вашей оперативной памяти. MoE передового уровня на телефоне, ноутбуке или edge-устройстве. Без потерь, на стандартном llama.cpp. Адаптивный потоковый оптимизатор. Любое оборудование, любая ОС, любая модель и квантование — через локальный сервер, совместимый с OpenAI.
Tutel MoE: оптимизированная библиотека Mixture-of-Experts с поддержкой GLM/Kimi/GPT/DeepSeek/Qwen и форматов FP8/NVFP4/MXFP4
cuDNN Frontend — это современная open-source точка входа NVIDIA в библиотеку cuDNN и растущую коллекцию высокопроизводительных open-source ядер.
⛷️ LLaMA-MoE: Создание Mixture-of-Experts из LLaMA с непрерывным предварительным обучением (EMNLP 2024)
Открытые модели передового уровня на бесплатной TPU Kaggle v5e-8: GLM-5.3-Flash 320B MoE (~165 токенов/с, на нашем собственном движке JAX) и Qwen3.8-27B bf16 (~130 токенов/с), контекст 262k и кэширование префиксов. Работает с Claude Code, Codex, opencode и pi.
Реализация с нуля языковой модели "разреженная смесь экспертов", вдохновленная makemore от Андрея Карпатого :)
37 ток/с на Qwen3-Next-80B (48 ГБ) на ноутбуке с 32 ГБ памяти; 24 ток/с без черновой генерации против 2,8 у llama.cpp; скорость чтения — 62 против 16 ток/с. Быстрее llama.cpp на всех 13 моделях, сравнивавшихся в Q4_K_M. Запускайте LLM, превышающие объём вашей RAM, на чистом C — на CPU или GPU.
Ming — обеспечивает передовые возможности мультимодального понимания и генерации, построенные на базе Ling LLM.
Запускайте ИИ-модель размером 105 ГБ на Mac, на котором она не помещается целиком. Qwen3.8-Flash-Next в 4-битном формате загружается потоком с SSD на компьютерах Mac с Apple Silicon и 16–64 ГБ памяти. Полностью нативная реализация на Swift, MLX и Metal. Работает офлайн, без Python. CLI, библиотека Swift и API Ollama/OpenAI/Anthropic. Совместима с Claude Code и Codex.
Swiftlet — это среда выполнения на Swift и Metal, которая запускает большие модели Qwen Mixture-of-Experts локально на устройствах Apple путем потоковой передачи весов экспертов из хранилища, что позволяет запускать модели 35B и 80B с малым объемом оперативной памяти, в том числе на iPhone.
Подборка исследовательских работ по теме Mixture-of-Experts (MoE).
Китайские большие языковые модели Mixtral Mixture-of-Experts (Chinese Mixtral MoE LLMs)
Xolotl: запускайте DeepSeek-V4.1-Flash со всеми 552B параметров как локального агента для программирования на одном игровом ПК (RTX 4090 + 110 ГБ ОЗУ): около 33 токенов/с в режиме агента, около 41 в быстром режиме, контекст 512K. Также доступны Inkling-2-Mini (Thinking Machines, собственный движок + модуль создания черновиков MTP), GLM-5.3-Flash, Qwen3.8 и LFM3-Omni. Эксперты MoE распределяются по уровням между VRAM, ОЗУ и NVMe (Xolotl Direct). API OpenAI + Anthropic.
Krasis — это гибридная среда выполнения LLM, ориентированная на эффективный запуск больших моделей на потребительском оборудовании с ограниченным объемом видеопамяти
Библиотека для простого объединения нескольких экспертов LLM и эффективного обучения объединенной LLM.