#mixture-of-experts Dépôts
78 dépôts au total
Analyse du code source du modèle de langage léger MiniMind, incluant les processus complets tels que tokenizer, RoPE, MoE, KV Cache, pré-entraînement, SFT, LoRA, DPO.
Exécutez des modèles MoE plus volumineux que votre RAM. Des MoE de pointe sur un téléphone, un ordinateur portable ou un appareil edge. Sans perte, avec llama.cpp standard. Un optimiseur adaptatif en streaming. Tout matériel, tout système d’exploitation, tout modèle et toute quantification, via un serveur local compatible avec OpenAI.
Tutel MoE : bibliothèque optimisée de mélange d’experts, prenant en charge GLM/Kimi/GPT/DeepSeek/Qwen avec FP8/NVFP4/MXFP4
cuDNN Frontend est le point d'entrée moderne et open source de NVIDIA vers la bibliothèque cuDNN et une collection croissante de noyaux open source hautes performances.
⛷️ LLaMA-MoE : Construction de Mixture-of-Experts à partir de LLaMA avec pré-entraînement continu (EMNLP 2024)
Modèles ouverts de niveau frontière sur un TPU v5e-8 gratuit de Kaggle : GLM-5.3-Flash 320B MoE (~165 tok/s, avec notre propre moteur JAX) et Qwen3.8-27B bf16 (~130 tok/s), contexte de 262k et mise en cache des préfixes. Compatible avec Claude Code, Codex, opencode et pi.
Accélération de MoE avec des optimisations tenant compte de l'IO et des tuiles
Implémentation à partir de zéro d'un modèle linguistique sparse mixture of experts inspiré de makemore d'Andrej Karpathy :)
37 tok/s avec Qwen3-Next-80B (48 Go) sur un ordinateur portable de 32 Go ; 24 sans spéculation, contre 2,8 avec llama.cpp ; lecture à 62 contre 16 tok/s. Plus rapide que llama.cpp sur les 13 modèles comparés en Q4_K_M. Des LLM plus grands que votre RAM, en C pur, sur CPU ou GPU.
Ming - facilitant les capacités avancées de compréhension et de génération multimodales construites sur le Ling LLM.
Exécutez un modèle d’IA de 105 Go sur un Mac qui ne peut pas le stocker. Qwen3.8-Flash-Next en 4 bits, chargé en continu depuis un SSD sur les Mac Apple Silicon dotés de 16 à 64 Go de mémoire. Entièrement natif en Swift, MLX et Metal. Hors ligne, sans Python. CLI, bibliothèque Swift et API Ollama/OpenAI/Anthropic. Compatible avec Claude Code et Codex.
Swiftlet est un environnement d'exécution Swift et Metal qui exécute de grands modèles Qwen Mixture-of-Experts localement sur les appareils Apple en diffusant les poids des experts depuis le stockage, permettant ainsi aux modèles 35B et 80B de fonctionner avec peu de RAM, y compris sur iPhone.
Une liste de lecture organisée de recherches sur les Mixture-of-Experts (MoE).
Grand modèle linguistique Mixtral Mixture-of-Experts chinois (Chinese Mixtral MoE LLMs)
Xolotl : exécutez DeepSeek-V4.1-Flash, avec l’intégralité de ses 552B paramètres, comme agent de programmation local sur un seul PC gaming (RTX 4090 + 110 Go de RAM) : ~33 tok/s en mode agent, ~41 en mode rapide, avec un contexte de 512K. Également disponible : Inkling-2-Mini (Thinking Machines, moteur propriétaire + générateur d’ébauches MTP), GLM-5.3-Flash, Qwen3.8 et LFM3-Omni. Experts MoE répartis par niveaux entre la VRAM, la RAM et le NVMe (Xolotl Direct). API OpenAI + Anthropic.
Krasis est un runtime LLM hybride qui se concentre sur l'exécution efficace de modèles plus volumineux sur du matériel grand public à VRAM limitée
Une bibliothèque pour fusionner facilement plusieurs experts LLM et entraîner efficacement le LLM fusionné.