Git Stars Git Stars

#mixture-of-experts Repositories

78
Gesamtzahl der Repositories
392,641
Gesamtanzahl der Sterne
5,033
Durchschnittliche Sterne/Repo

Insgesamt 78 Repositories

51
hans0809/MiniMind-in-Depth

Quellcode-Analyse des leichtgewichtigen großen Sprachmodells MiniMind, einschließlich der vollständigen Abläufe von Tokenizer, RoPE, MoE, KV Cache, Pretraining, SFT, LoRA, DPO.

hans0809
⭐ 1,072 👤 hans0809 User 🕐 Aktualisiert 2025-06-16 📅 Erstellt 2025-06-16
52
Helldez/BigMoeOnEdge

Führe MoE-Modelle aus, die größer sind als dein RAM. MoE-Modelle der Spitzenklasse auf einem Smartphone, Laptop oder Edge-Gerät. Verlustfrei, mit unverändertem llama.cpp. Ein adaptiver Streaming-Optimierer. Jede Hardware, jedes Betriebssystem, jedes Modell und jede Quantisierung – über einen lokalen OpenAI-kompatiblen Server.

Helldez
⭐ 1,066 C++ 👤 Helldez User 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2026-07-10
53
jondurbin/airoboros

Anpassbare Implementierung des Self-Instruct-Papers.

jondurbin
⭐ 1,050 Python 👤 jondurbin User 🕐 Aktualisiert 2024-03-07 📅 Erstellt 2023-04-29
54
microsoft/Tutel

Tutel MoE: Optimierte Mixture-of-Experts-Bibliothek mit Unterstützung für GLM/Kimi/GPT/DeepSeek/Qwen unter Verwendung von FP8/NVFP4/MXFP4

microsoft
⭐ 1,027 C 👤 microsoft Organization 🕐 Aktualisiert 2026-11-06 📅 Erstellt 2021-08-06
55
NVIDIA/cudnn-frontend

cuDNN Frontend ist NVIDIAs moderner Open-Source-Einstiegspunkt zur cuDNN-Bibliothek und eine wachsende Sammlung von leistungsstarken Open-Source-Kernels.

NVIDIA
⭐ 1,008 Cuda 👤 NVIDIA Organization 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2021-01-22
56
pjlab-sys4nlp/llama-moe

⛷️ LLaMA-MoE: Aufbau von Mixture-of-Experts aus LLaMA mit fortlaufendem Vortraining (EMNLP 2024)

pjlab-sys4nlp
⭐ 1,004 Python 👤 pjlab-sys4nlp Organization 🕐 Aktualisiert 2024-12-06 📅 Erstellt 2023-07-24
57
myshell-ai/JetMoE

Erreichen der LLaMA2-Leistung mit 0,1 Mio. Dollar

myshell-ai
⭐ 988 Python 👤 myshell-ai Organization 🕐 Aktualisiert 2024-07-23 📅 Erstellt 2024-04-02
58
SMTorg/smt

SMT: Die Toolbox für Surrogate-Modellierung

SMTorg
⭐ 927 Jupyter Notebook 👤 SMTorg Organization 🕐 Aktualisiert 2026-11-16 📅 Erstellt 2016-11-08
59
InternLM/Intern-S1

Ein wissenschaftliches multimodales Basismodell

InternLM
⭐ 876 👤 InternLM Organization 🕐 Aktualisiert 2026-09-13 📅 Erstellt 2025-07-25
60
ARahim3/kaggle-tpu-lab

Open-Modelle der Spitzenklasse auf einer kostenlosen Kaggle-TPU v5e-8: GLM-5.3-Flash 320B MoE (~165 Tok/s, mit unserer eigenen JAX-Engine) und Qwen3.8-27B bf16 (~130 Tok/s), 262k Kontext und Präfix-Caching. Funktioniert mit Claude Code, Codex, opencode und pi.

ARahim3
⭐ 812 Python 👤 ARahim3 User 🕐 Aktualisiert 2026-10-06 📅 Erstellt 2026-08-31
62
Dao-AILab/sonic-moe

Beschleunigung von MoE durch IO- und Kachelbewusste Optimierungen

Dao-AILab
⭐ 791 Python 👤 Dao-AILab Organization 🕐 Aktualisiert 2026-08-29 📅 Erstellt 2025-12-15
63
AviSoori1x/makeMoE

Von Grund auf implementiertes Sparse Mixture of Experts Sprachmodell, inspiriert von Andrej Karpathys makemore :)

AviSoori1x
⭐ 783 Jupyter Notebook 👤 AviSoori1x User 🕐 Aktualisiert 2024-10-30 📅 Erstellt 2024-01-22
64
datawhalechina/unlock-deepseek

Einblicke, Erweiterungen und Reproduktionen der DeepSeek-Serie.

datawhalechina
⭐ 743 Python 👤 datawhalechina Organization 🕐 Aktualisiert 2026-03-09 📅 Erstellt 2025-01-30
65
prabanta-dev/janas

37 tok/s mit Qwen3-Next-80B (48 GB) auf einem 32-GB-Laptop; 24 ohne Drafts gegenüber 2,8 mit llama.cpp; beim Lesen 62 gegenüber 16 tok/s. Schneller als llama.cpp bei allen 13 Modellen, die in Q4_K_M verglichen wurden. LLMs, die größer sind als dein RAM – pures C, für CPU oder GPU.

prabanta-dev
⭐ 738 C 👤 prabanta-dev Organization 🕐 Aktualisiert 2026-11-20 📅 Erstellt 2026-09-20
66
deepseek-ai/ESFT

Experten-Spezialisiertes Fine-Tuning

deepseek-ai
⭐ 737 Python 👤 deepseek-ai Organization 🕐 Aktualisiert 2025-05-22 📅 Erstellt 2024-07-04
68
inclusionAI/Ming

Ming – ermöglicht erweiterte multimodale Verständnis- und Generierungsfunktionen, die auf dem Ling LLM basieren.

inclusionAI
⭐ 683 Jupyter Notebook 👤 inclusionAI Organization 🕐 Aktualisiert 2026-07-27 📅 Erstellt 2025-04-21
69
carloslfu/slotstream

Führen Sie ein 105-GB-KI-Modell auf einem Mac aus, auf dem es nicht vollständig Platz findet. Qwen3.8-Flash-Next in 4-Bit, gestreamt von einer SSD auf Apple-Silicon-Macs mit 16–64 GB Arbeitsspeicher. Vollständig nativ mit Swift, MLX und Metal. Offline, ohne Python. CLI, Swift-Bibliothek sowie Ollama-/OpenAI-/Anthropic-APIs. Funktioniert mit Claude Code und Codex.

carloslfu
⭐ 674 Swift 👤 carloslfu User 🕐 Aktualisiert 2026-11-17 📅 Erstellt 2026-08-28
70
leonickson1/Swiftlet

Swiftlet ist eine Swift- und Metal-Laufzeitumgebung, die große Qwen Mixture-of-Experts-Modelle lokal auf Apple-Geräten ausführt, indem Experten-Gewichte vom Speicher gestreamt werden, wodurch 35B- und 80B-Modelle mit geringem RAM-Verbrauch ausgeführt werden können, auch auf dem iPhone.

leonickson1
⭐ 667 Swift 👤 leonickson1 User 🕐 Aktualisiert 2026-11-17 📅 Erstellt 2026-08-03
71
codecaution/Awesome-Mixture-of-Experts-Papers

Eine kuratierte Leseliste mit Forschungsergebnissen zu Mixture-of-Experts (MoE).

codecaution
⭐ 654 👤 codecaution User 🕐 Aktualisiert 2024-10-30 📅 Erstellt 2022-02-24
72
perplexityai/pplx-kernels

Perplexität GPU-Kerne

perplexityai
⭐ 614 C++ 👤 perplexityai Organization 🕐 Aktualisiert 2025-11-07 📅 Erstellt 2025-03-24
73
ymcui/Chinese-Mixtral

Chinesisches Mixtral Mixture-of-Experts LLM (Chinese Mixtral MoE LLMs)

ymcui
⭐ 613 Python 👤 ymcui User 🕐 Aktualisiert 2026-04-19 📅 Erstellt 2024-01-11
74
fe1ixxu/ALMA

Hochmoderne LLM-basierte Übersetzungsmodelle.

fe1ixxu
⭐ 585 Ruby 👤 fe1ixxu User 🕐 Aktualisiert 2025-04-09 📅 Erstellt 2023-09-13
76
Indras-Mirror/Xolotl

Xolotl: Führe DeepSeek-V4.1-Flash mit allen 552B Parametern als lokalen Coding-Agent auf einem einzigen Gaming-PC aus (RTX 4090 + 110 GB RAM): ca. 33 Tok/s im Agentenmodus, ca. 41 im Schnellmodus, 512K Kontext. Dazu Inkling-2-Mini (Thinking Machines, eigene Engine + MTP-Entwurfsmodul), GLM-5.3-Flash, Qwen3.8 und LFM3-Omni. MoE-Experten werden stufenweise über VRAM, RAM und NVMe verteilt (Xolotl Direct). OpenAI- und Anthropic-API.

Indras-Mirror
⭐ 549 C++ 👤 Indras-Mirror User 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2026-10-06
77
brontoguana/krasis

Krasis ist eine hybride LLM-Laufzeitumgebung, die sich auf die effiziente Ausführung größerer Modelle auf Consumer-Hardware mit begrenztem VRAM konzentriert

brontoguana
⭐ 530 C++ 👤 brontoguana User 🕐 Aktualisiert 2026-11-12 📅 Erstellt 2026-02-09
78
Leeroo-AI/mergoo

Eine Bibliothek zum einfachen Zusammenführen mehrerer LLM-Experten und zum effizienten Trainieren des zusammengeführten LLM.

Leeroo-AI
⭐ 500 Python 👤 Leeroo-AI Organization 🕐 Aktualisiert 2024-08-26 📅 Erstellt 2024-04-08