Git Stars Git Stars

#mixture-of-experts Dépôts

78
Total des Dépôts
392,641
Nombre total d'étoiles
5,033
Moyenne d'Étoiles/Dépôt
51
hans0809/MiniMind-in-Depth

Analyse du code source du modèle de langage léger MiniMind, incluant les processus complets tels que tokenizer, RoPE, MoE, KV Cache, pré-entraînement, SFT, LoRA, DPO.

hans0809
⭐ 1,072 👤 hans0809 User 🕐 Mis à jour 2025-06-16 📅 Créé 2025-06-16
52
Helldez/BigMoeOnEdge

Exécutez des modèles MoE plus volumineux que votre RAM. Des MoE de pointe sur un téléphone, un ordinateur portable ou un appareil edge. Sans perte, avec llama.cpp standard. Un optimiseur adaptatif en streaming. Tout matériel, tout système d’exploitation, tout modèle et toute quantification, via un serveur local compatible avec OpenAI.

Helldez
⭐ 1,066 C++ 👤 Helldez User 🕐 Mis à jour 2026-11-21 📅 Créé 2026-07-10
53
jondurbin/airoboros

Implémentation personnalisable du papier "self-instruct".

jondurbin
⭐ 1,050 Python 👤 jondurbin User 🕐 Mis à jour 2024-03-07 📅 Créé 2023-04-29
54
microsoft/Tutel

Tutel MoE : bibliothèque optimisée de mélange d’experts, prenant en charge GLM/Kimi/GPT/DeepSeek/Qwen avec FP8/NVFP4/MXFP4

microsoft
⭐ 1,027 C 👤 microsoft Organization 🕐 Mis à jour 2026-11-06 📅 Créé 2021-08-06
55
NVIDIA/cudnn-frontend

cuDNN Frontend est le point d'entrée moderne et open source de NVIDIA vers la bibliothèque cuDNN et une collection croissante de noyaux open source hautes performances.

NVIDIA
⭐ 1,008 Cuda 👤 NVIDIA Organization 🕐 Mis à jour 2026-11-21 📅 Créé 2021-01-22
56
pjlab-sys4nlp/llama-moe

⛷️ LLaMA-MoE : Construction de Mixture-of-Experts à partir de LLaMA avec pré-entraînement continu (EMNLP 2024)

pjlab-sys4nlp
⭐ 1,004 Python 👤 pjlab-sys4nlp Organization 🕐 Mis à jour 2024-12-06 📅 Créé 2023-07-24
57
myshell-ai/JetMoE

Atteindre les performances de LLaMA2 avec 0,1 million de dollars

myshell-ai
⭐ 988 Python 👤 myshell-ai Organization 🕐 Mis à jour 2024-07-23 📅 Créé 2024-04-02
58
SMTorg/smt

SMT : La boîte à outils de modélisation de substitution

SMTorg
⭐ 927 Jupyter Notebook 👤 SMTorg Organization 🕐 Mis à jour 2026-11-16 📅 Créé 2016-11-08
59
InternLM/Intern-S1

Un modèle fondamental scientifique multimodal

InternLM
⭐ 876 👤 InternLM Organization 🕐 Mis à jour 2026-09-13 📅 Créé 2025-07-25
60
ARahim3/kaggle-tpu-lab

Modèles ouverts de niveau frontière sur un TPU v5e-8 gratuit de Kaggle : GLM-5.3-Flash 320B MoE (~165 tok/s, avec notre propre moteur JAX) et Qwen3.8-27B bf16 (~130 tok/s), contexte de 262k et mise en cache des préfixes. Compatible avec Claude Code, Codex, opencode et pi.

ARahim3
⭐ 812 Python 👤 ARahim3 User 🕐 Mis à jour 2026-10-06 📅 Créé 2026-08-31
62
Dao-AILab/sonic-moe

Accélération de MoE avec des optimisations tenant compte de l'IO et des tuiles

Dao-AILab
⭐ 791 Python 👤 Dao-AILab Organization 🕐 Mis à jour 2026-08-29 📅 Créé 2025-12-15
63
AviSoori1x/makeMoE

Implémentation à partir de zéro d'un modèle linguistique sparse mixture of experts inspiré de makemore d'Andrej Karpathy :)

AviSoori1x
⭐ 783 Jupyter Notebook 👤 AviSoori1x User 🕐 Mis à jour 2024-10-30 📅 Créé 2024-01-22
64
datawhalechina/unlock-deepseek

Analyse, extensions et reproductions de la série DeepSeek.

datawhalechina
⭐ 743 Python 👤 datawhalechina Organization 🕐 Mis à jour 2026-03-09 📅 Créé 2025-01-30
65
prabanta-dev/janas

37 tok/s avec Qwen3-Next-80B (48 Go) sur un ordinateur portable de 32 Go ; 24 sans spéculation, contre 2,8 avec llama.cpp ; lecture à 62 contre 16 tok/s. Plus rapide que llama.cpp sur les 13 modèles comparés en Q4_K_M. Des LLM plus grands que votre RAM, en C pur, sur CPU ou GPU.

prabanta-dev
⭐ 738 C 👤 prabanta-dev Organization 🕐 Mis à jour 2026-11-20 📅 Créé 2026-09-20
66
deepseek-ai/ESFT

Affinage spécialisé par des experts

deepseek-ai
⭐ 737 Python 👤 deepseek-ai Organization 🕐 Mis à jour 2025-05-22 📅 Créé 2024-07-04
68
inclusionAI/Ming

Ming - facilitant les capacités avancées de compréhension et de génération multimodales construites sur le Ling LLM.

inclusionAI
⭐ 683 Jupyter Notebook 👤 inclusionAI Organization 🕐 Mis à jour 2026-07-27 📅 Créé 2025-04-21
69
carloslfu/slotstream

Exécutez un modèle d’IA de 105 Go sur un Mac qui ne peut pas le stocker. Qwen3.8-Flash-Next en 4 bits, chargé en continu depuis un SSD sur les Mac Apple Silicon dotés de 16 à 64 Go de mémoire. Entièrement natif en Swift, MLX et Metal. Hors ligne, sans Python. CLI, bibliothèque Swift et API Ollama/OpenAI/Anthropic. Compatible avec Claude Code et Codex.

carloslfu
⭐ 674 Swift 👤 carloslfu User 🕐 Mis à jour 2026-11-17 📅 Créé 2026-08-28
70
leonickson1/Swiftlet

Swiftlet est un environnement d'exécution Swift et Metal qui exécute de grands modèles Qwen Mixture-of-Experts localement sur les appareils Apple en diffusant les poids des experts depuis le stockage, permettant ainsi aux modèles 35B et 80B de fonctionner avec peu de RAM, y compris sur iPhone.

leonickson1
⭐ 667 Swift 👤 leonickson1 User 🕐 Mis à jour 2026-11-17 📅 Créé 2026-08-03
71
codecaution/Awesome-Mixture-of-Experts-Papers

Une liste de lecture organisée de recherches sur les Mixture-of-Experts (MoE).

codecaution
⭐ 654 👤 codecaution User 🕐 Mis à jour 2024-10-30 📅 Créé 2022-02-24
72
perplexityai/pplx-kernels

Noyaux GPU de Perplexité

perplexityai
⭐ 614 C++ 👤 perplexityai Organization 🕐 Mis à jour 2025-11-07 📅 Créé 2025-03-24
73
ymcui/Chinese-Mixtral

Grand modèle linguistique Mixtral Mixture-of-Experts chinois (Chinese Mixtral MoE LLMs)

ymcui
⭐ 613 Python 👤 ymcui User 🕐 Mis à jour 2026-04-19 📅 Créé 2024-01-11
74
fe1ixxu/ALMA

Modèles de traduction à la pointe de la technologie basés sur des LLM.

fe1ixxu
⭐ 585 Ruby 👤 fe1ixxu User 🕐 Mis à jour 2025-04-09 📅 Créé 2023-09-13
76
Indras-Mirror/Xolotl

Xolotl : exécutez DeepSeek-V4.1-Flash, avec l’intégralité de ses 552B paramètres, comme agent de programmation local sur un seul PC gaming (RTX 4090 + 110 Go de RAM) : ~33 tok/s en mode agent, ~41 en mode rapide, avec un contexte de 512K. Également disponible : Inkling-2-Mini (Thinking Machines, moteur propriétaire + générateur d’ébauches MTP), GLM-5.3-Flash, Qwen3.8 et LFM3-Omni. Experts MoE répartis par niveaux entre la VRAM, la RAM et le NVMe (Xolotl Direct). API OpenAI + Anthropic.

Indras-Mirror
⭐ 549 C++ 👤 Indras-Mirror User 🕐 Mis à jour 2026-11-21 📅 Créé 2026-10-06
77
brontoguana/krasis

Krasis est un runtime LLM hybride qui se concentre sur l'exécution efficace de modèles plus volumineux sur du matériel grand public à VRAM limitée

brontoguana
⭐ 530 C++ 👤 brontoguana User 🕐 Mis à jour 2026-11-12 📅 Créé 2026-02-09
78
Leeroo-AI/mergoo

Une bibliothèque pour fusionner facilement plusieurs experts LLM et entraîner efficacement le LLM fusionné.

Leeroo-AI
⭐ 500 Python 👤 Leeroo-AI Organization 🕐 Mis à jour 2024-08-26 📅 Créé 2024-04-08