#mixture-of-experts Repositories
Insgesamt 78 Repositories
Quellcode-Analyse des leichtgewichtigen großen Sprachmodells MiniMind, einschließlich der vollständigen Abläufe von Tokenizer, RoPE, MoE, KV Cache, Pretraining, SFT, LoRA, DPO.
Führe MoE-Modelle aus, die größer sind als dein RAM. MoE-Modelle der Spitzenklasse auf einem Smartphone, Laptop oder Edge-Gerät. Verlustfrei, mit unverändertem llama.cpp. Ein adaptiver Streaming-Optimierer. Jede Hardware, jedes Betriebssystem, jedes Modell und jede Quantisierung – über einen lokalen OpenAI-kompatiblen Server.
Tutel MoE: Optimierte Mixture-of-Experts-Bibliothek mit Unterstützung für GLM/Kimi/GPT/DeepSeek/Qwen unter Verwendung von FP8/NVFP4/MXFP4
cuDNN Frontend ist NVIDIAs moderner Open-Source-Einstiegspunkt zur cuDNN-Bibliothek und eine wachsende Sammlung von leistungsstarken Open-Source-Kernels.
⛷️ LLaMA-MoE: Aufbau von Mixture-of-Experts aus LLaMA mit fortlaufendem Vortraining (EMNLP 2024)
Open-Modelle der Spitzenklasse auf einer kostenlosen Kaggle-TPU v5e-8: GLM-5.3-Flash 320B MoE (~165 Tok/s, mit unserer eigenen JAX-Engine) und Qwen3.8-27B bf16 (~130 Tok/s), 262k Kontext und Präfix-Caching. Funktioniert mit Claude Code, Codex, opencode und pi.
Von Grund auf implementiertes Sparse Mixture of Experts Sprachmodell, inspiriert von Andrej Karpathys makemore :)
37 tok/s mit Qwen3-Next-80B (48 GB) auf einem 32-GB-Laptop; 24 ohne Drafts gegenüber 2,8 mit llama.cpp; beim Lesen 62 gegenüber 16 tok/s. Schneller als llama.cpp bei allen 13 Modellen, die in Q4_K_M verglichen wurden. LLMs, die größer sind als dein RAM – pures C, für CPU oder GPU.
Ming – ermöglicht erweiterte multimodale Verständnis- und Generierungsfunktionen, die auf dem Ling LLM basieren.
Führen Sie ein 105-GB-KI-Modell auf einem Mac aus, auf dem es nicht vollständig Platz findet. Qwen3.8-Flash-Next in 4-Bit, gestreamt von einer SSD auf Apple-Silicon-Macs mit 16–64 GB Arbeitsspeicher. Vollständig nativ mit Swift, MLX und Metal. Offline, ohne Python. CLI, Swift-Bibliothek sowie Ollama-/OpenAI-/Anthropic-APIs. Funktioniert mit Claude Code und Codex.
Swiftlet ist eine Swift- und Metal-Laufzeitumgebung, die große Qwen Mixture-of-Experts-Modelle lokal auf Apple-Geräten ausführt, indem Experten-Gewichte vom Speicher gestreamt werden, wodurch 35B- und 80B-Modelle mit geringem RAM-Verbrauch ausgeführt werden können, auch auf dem iPhone.
Eine kuratierte Leseliste mit Forschungsergebnissen zu Mixture-of-Experts (MoE).
Xolotl: Führe DeepSeek-V4.1-Flash mit allen 552B Parametern als lokalen Coding-Agent auf einem einzigen Gaming-PC aus (RTX 4090 + 110 GB RAM): ca. 33 Tok/s im Agentenmodus, ca. 41 im Schnellmodus, 512K Kontext. Dazu Inkling-2-Mini (Thinking Machines, eigene Engine + MTP-Entwurfsmodul), GLM-5.3-Flash, Qwen3.8 und LFM3-Omni. MoE-Experten werden stufenweise über VRAM, RAM und NVMe verteilt (Xolotl Direct). OpenAI- und Anthropic-API.
Krasis ist eine hybride LLM-Laufzeitumgebung, die sich auf die effiziente Ausführung größerer Modelle auf Consumer-Hardware mit begrenztem VRAM konzentriert
Eine Bibliothek zum einfachen Zusammenführen mehrerer LLM-Experten und zum effizienten Trainieren des zusammengeführten LLM.