Git Stars Git Stars

#mixture-of-experts Репозитории

78
Всего репозиториев
392,641
Всего звезд
5,033
Среднее количество звезд на репозиторий
Языки программирования: Python C++ Jupyter Notebook C Swift Cuda Ruby

Всего репозиториев: 78

51
hans0809/MiniMind-in-Depth

Разбор исходного кода легковесной большой языковой модели MiniMind, включающий полные процессы, такие как токенизатор, RoPE, MoE, KV Cache, предварительное обучение, SFT, LoRA, DPO.

hans0809
⭐ 1,072 👤 hans0809 User 🕐 Обновлено 2025-06-16 📅 Создано 2025-06-16
52
Helldez/BigMoeOnEdge

Запускайте MoE-модели, превышающие объём вашей оперативной памяти. MoE передового уровня на телефоне, ноутбуке или edge-устройстве. Без потерь, на стандартном llama.cpp. Адаптивный потоковый оптимизатор. Любое оборудование, любая ОС, любая модель и квантование — через локальный сервер, совместимый с OpenAI.

Helldez
⭐ 1,066 C++ 👤 Helldez User 🕐 Обновлено 2026-11-21 📅 Создано 2026-07-10
53
jondurbin/airoboros

Настраиваемая реализация статьи "self-instruct".

jondurbin
⭐ 1,050 Python 👤 jondurbin User 🕐 Обновлено 2024-03-07 📅 Создано 2023-04-29
54
microsoft/Tutel

Tutel MoE: оптимизированная библиотека Mixture-of-Experts с поддержкой GLM/Kimi/GPT/DeepSeek/Qwen и форматов FP8/NVFP4/MXFP4

microsoft
⭐ 1,027 C 👤 microsoft Organization 🕐 Обновлено 2026-11-06 📅 Создано 2021-08-06
55
NVIDIA/cudnn-frontend

cuDNN Frontend — это современная open-source точка входа NVIDIA в библиотеку cuDNN и растущую коллекцию высокопроизводительных open-source ядер.

NVIDIA
⭐ 1,008 Cuda 👤 NVIDIA Organization 🕐 Обновлено 2026-11-21 📅 Создано 2021-01-22
56
pjlab-sys4nlp/llama-moe

⛷️ LLaMA-MoE: Создание Mixture-of-Experts из LLaMA с непрерывным предварительным обучением (EMNLP 2024)

pjlab-sys4nlp
⭐ 1,004 Python 👤 pjlab-sys4nlp Organization 🕐 Обновлено 2024-12-06 📅 Создано 2023-07-24
57
myshell-ai/JetMoE

Достижение производительности LLaMA2 за 0,1 млн долларов

myshell-ai
⭐ 988 Python 👤 myshell-ai Organization 🕐 Обновлено 2024-07-23 📅 Создано 2024-04-02
58
SMTorg/smt

SMT: Инструментарий для суррогатного моделирования

SMTorg
⭐ 927 Jupyter Notebook 👤 SMTorg Organization 🕐 Обновлено 2026-11-16 📅 Создано 2016-11-08
59
InternLM/Intern-S1

Научная мультимодальная базовая модель

InternLM
⭐ 876 👤 InternLM Organization 🕐 Обновлено 2026-09-13 📅 Создано 2025-07-25
60
ARahim3/kaggle-tpu-lab

Открытые модели передового уровня на бесплатной TPU Kaggle v5e-8: GLM-5.3-Flash 320B MoE (~165 токенов/с, на нашем собственном движке JAX) и Qwen3.8-27B bf16 (~130 токенов/с), контекст 262k и кэширование префиксов. Работает с Claude Code, Codex, opencode и pi.

ARahim3
⭐ 812 Python 👤 ARahim3 User 🕐 Обновлено 2026-10-06 📅 Создано 2026-08-31
62
Dao-AILab/sonic-moe

Ускорение MoE с помощью оптимизаций, учитывающих ввод-вывод и тайлы

Dao-AILab
⭐ 791 Python 👤 Dao-AILab Organization 🕐 Обновлено 2026-08-29 📅 Создано 2025-12-15
63
AviSoori1x/makeMoE

Реализация с нуля языковой модели "разреженная смесь экспертов", вдохновленная makemore от Андрея Карпатого :)

AviSoori1x
⭐ 783 Jupyter Notebook 👤 AviSoori1x User 🕐 Обновлено 2024-10-30 📅 Создано 2024-01-22
64
datawhalechina/unlock-deepseek

Анализ, расширения и воспроизведение работ серии DeepSeek.

datawhalechina
⭐ 743 Python 👤 datawhalechina Organization 🕐 Обновлено 2026-03-09 📅 Создано 2025-01-30
65
prabanta-dev/janas

37 ток/с на Qwen3-Next-80B (48 ГБ) на ноутбуке с 32 ГБ памяти; 24 ток/с без черновой генерации против 2,8 у llama.cpp; скорость чтения — 62 против 16 ток/с. Быстрее llama.cpp на всех 13 моделях, сравнивавшихся в Q4_K_M. Запускайте LLM, превышающие объём вашей RAM, на чистом C — на CPU или GPU.

prabanta-dev
⭐ 738 C 👤 prabanta-dev Organization 🕐 Обновлено 2026-11-20 📅 Создано 2026-09-20
66
deepseek-ai/ESFT

Экспертная специализированная точная настройка

deepseek-ai
⭐ 737 Python 👤 deepseek-ai Organization 🕐 Обновлено 2025-05-22 📅 Создано 2024-07-04
68
inclusionAI/Ming

Ming — обеспечивает передовые возможности мультимодального понимания и генерации, построенные на базе Ling LLM.

inclusionAI
⭐ 683 Jupyter Notebook 👤 inclusionAI Organization 🕐 Обновлено 2026-07-27 📅 Создано 2025-04-21
69
carloslfu/slotstream

Запускайте ИИ-модель размером 105 ГБ на Mac, на котором она не помещается целиком. Qwen3.8-Flash-Next в 4-битном формате загружается потоком с SSD на компьютерах Mac с Apple Silicon и 16–64 ГБ памяти. Полностью нативная реализация на Swift, MLX и Metal. Работает офлайн, без Python. CLI, библиотека Swift и API Ollama/OpenAI/Anthropic. Совместима с Claude Code и Codex.

carloslfu
⭐ 674 Swift 👤 carloslfu User 🕐 Обновлено 2026-11-17 📅 Создано 2026-08-28
70
leonickson1/Swiftlet

Swiftlet — это среда выполнения на Swift и Metal, которая запускает большие модели Qwen Mixture-of-Experts локально на устройствах Apple путем потоковой передачи весов экспертов из хранилища, что позволяет запускать модели 35B и 80B с малым объемом оперативной памяти, в том числе на iPhone.

leonickson1
⭐ 667 Swift 👤 leonickson1 User 🕐 Обновлено 2026-11-17 📅 Создано 2026-08-03
71
codecaution/Awesome-Mixture-of-Experts-Papers

Подборка исследовательских работ по теме Mixture-of-Experts (MoE).

codecaution
⭐ 654 👤 codecaution User 🕐 Обновлено 2024-10-30 📅 Создано 2022-02-24
72
perplexityai/pplx-kernels

Ядра GPU Перплексии

perplexityai
⭐ 614 C++ 👤 perplexityai Organization 🕐 Обновлено 2025-11-07 📅 Создано 2025-03-24
73
ymcui/Chinese-Mixtral

Китайские большие языковые модели Mixtral Mixture-of-Experts (Chinese Mixtral MoE LLMs)

ymcui
⭐ 613 Python 👤 ymcui User 🕐 Обновлено 2026-04-19 📅 Создано 2024-01-11
74
fe1ixxu/ALMA

Современные модели перевода на основе LLM.

fe1ixxu
⭐ 585 Ruby 👤 fe1ixxu User 🕐 Обновлено 2025-04-09 📅 Создано 2023-09-13
76
Indras-Mirror/Xolotl

Xolotl: запускайте DeepSeek-V4.1-Flash со всеми 552B параметров как локального агента для программирования на одном игровом ПК (RTX 4090 + 110 ГБ ОЗУ): около 33 токенов/с в режиме агента, около 41 в быстром режиме, контекст 512K. Также доступны Inkling-2-Mini (Thinking Machines, собственный движок + модуль создания черновиков MTP), GLM-5.3-Flash, Qwen3.8 и LFM3-Omni. Эксперты MoE распределяются по уровням между VRAM, ОЗУ и NVMe (Xolotl Direct). API OpenAI + Anthropic.

Indras-Mirror
⭐ 549 C++ 👤 Indras-Mirror User 🕐 Обновлено 2026-11-21 📅 Создано 2026-10-06
77
brontoguana/krasis

Krasis — это гибридная среда выполнения LLM, ориентированная на эффективный запуск больших моделей на потребительском оборудовании с ограниченным объемом видеопамяти

brontoguana
⭐ 530 C++ 👤 brontoguana User 🕐 Обновлено 2026-11-12 📅 Создано 2026-02-09
78
Leeroo-AI/mergoo

Библиотека для простого объединения нескольких экспертов LLM и эффективного обучения объединенной LLM.

Leeroo-AI
⭐ 500 Python 👤 Leeroo-AI Organization 🕐 Обновлено 2024-08-26 📅 Создано 2024-04-08