Git Stars Git Stars

#mixture-of-experts Repository

78
Totale Repository
392,641
Totale stelle
5,033
Media Stelle/Repo
51
hans0809/MiniMind-in-Depth

Analisi del codice sorgente del modello linguistico di grandi dimensioni leggero MiniMind, che copre processi completi come tokenizer, RoPE, MoE, KV Cache, pre-addestramento, SFT, LoRA, DPO.

hans0809
โญ 1,072 ๐Ÿ‘ค hans0809 User ๐Ÿ• Aggiornato 2025-06-16 ๐Ÿ“… Creato 2025-06-16
52
Helldez/BigMoeOnEdge

Esegui modelli MoE piรน grandi della tua RAM. MoE di frontiera su smartphone, laptop o dispositivo edge. Senza perdita, con llama.cpp standard. Un ottimizzatore adattivo in streaming. Qualsiasi hardware, sistema operativo, modello e quantizzazione, tramite un server locale compatibile con OpenAI.

Helldez
โญ 1,066 C++ ๐Ÿ‘ค Helldez User ๐Ÿ• Aggiornato 2026-11-21 ๐Ÿ“… Creato 2026-07-10
53
jondurbin/airoboros

Implementazione personalizzabile del paper self-instruct.

jondurbin
โญ 1,050 Python ๐Ÿ‘ค jondurbin User ๐Ÿ• Aggiornato 2024-03-07 ๐Ÿ“… Creato 2023-04-29
54
microsoft/Tutel

Tutel MoE: libreria ottimizzata Mixture-of-Experts, con supporto per GLM/Kimi/GPT/DeepSeek/Qwen tramite FP8/NVFP4/MXFP4

microsoft
โญ 1,027 C ๐Ÿ‘ค microsoft Organization ๐Ÿ• Aggiornato 2026-11-06 ๐Ÿ“… Creato 2021-08-06
55
NVIDIA/cudnn-frontend

cuDNN Frontend รจ il moderno punto di accesso open source di NVIDIA alla libreria cuDNN e a una crescente raccolta di kernel open source ad alte prestazioni.

NVIDIA
โญ 1,008 Cuda ๐Ÿ‘ค NVIDIA Organization ๐Ÿ• Aggiornato 2026-11-21 ๐Ÿ“… Creato 2021-01-22
56
pjlab-sys4nlp/llama-moe

โ›ท๏ธ LLaMA-MoE: Costruzione di Mixture-of-Experts da LLaMA con pre-addestramento continuo (EMNLP 2024)

pjlab-sys4nlp
โญ 1,004 Python ๐Ÿ‘ค pjlab-sys4nlp Organization ๐Ÿ• Aggiornato 2024-12-06 ๐Ÿ“… Creato 2023-07-24
57
myshell-ai/JetMoE

Raggiungere le prestazioni LLaMA2 con 0,1 milioni di dollari

myshell-ai
โญ 988 Python ๐Ÿ‘ค myshell-ai Organization ๐Ÿ• Aggiornato 2024-07-23 ๐Ÿ“… Creato 2024-04-02
58
SMTorg/smt

SMT: Il Toolbox di Modellazione Surrogata

SMTorg
โญ 927 Jupyter Notebook ๐Ÿ‘ค SMTorg Organization ๐Ÿ• Aggiornato 2026-11-16 ๐Ÿ“… Creato 2016-11-08
59
InternLM/Intern-S1

Un modello fondazionale scientifico multimodale

InternLM
โญ 876 ๐Ÿ‘ค InternLM Organization ๐Ÿ• Aggiornato 2026-09-13 ๐Ÿ“… Creato 2025-07-25
60
ARahim3/kaggle-tpu-lab

Modelli open di livello frontier su una TPU v5e-8 gratuita di Kaggle: GLM-5.3-Flash 320B MoE (~165 token/s, con il nostro motore JAX) e Qwen3.8-27B bf16 (~130 token/s), contesto da 262k e caching dei prefissi. Funziona con Claude Code, Codex, opencode e pi.

ARahim3
โญ 812 Python ๐Ÿ‘ค ARahim3 User ๐Ÿ• Aggiornato 2026-10-06 ๐Ÿ“… Creato 2026-08-31
โญ 812 ๐Ÿ‘ค ByteDance-Seed Organization ๐Ÿ• Aggiornato 2025-06-09 ๐Ÿ“… Creato 2025-04-10
62
Dao-AILab/sonic-moe

Accelerazione di MoE con ottimizzazioni consapevoli di I/O e delle tile

Dao-AILab
โญ 791 Python ๐Ÿ‘ค Dao-AILab Organization ๐Ÿ• Aggiornato 2026-08-29 ๐Ÿ“… Creato 2025-12-15
63
AviSoori1x/makeMoE

Implementazione da zero di un modello linguistico sparse mixture of experts ispirato a makemore di Andrej Karpathy :)

AviSoori1x
โญ 783 Jupyter Notebook ๐Ÿ‘ค AviSoori1x User ๐Ÿ• Aggiornato 2024-10-30 ๐Ÿ“… Creato 2024-01-22
64
datawhalechina/unlock-deepseek

Approfondimenti, estensioni e riproduzioni della serie DeepSeek.

datawhalechina
โญ 743 Python ๐Ÿ‘ค datawhalechina Organization ๐Ÿ• Aggiornato 2026-03-09 ๐Ÿ“… Creato 2025-01-30
65
prabanta-dev/janas

37 tok/s con Qwen3-Next-80B (48 GB) su un laptop da 32 GB; 24 senza draft contro 2,8 con llama.cpp; lettura a 62 contro 16 tok/s. Piรน veloce di llama.cpp in tutti i 13 modelli confrontati in Q4_K_M. LLM piรน grandi della tua RAM, in puro C, per CPU o GPU.

prabanta-dev
โญ 738 C ๐Ÿ‘ค prabanta-dev Organization ๐Ÿ• Aggiornato 2026-11-20 ๐Ÿ“… Creato 2026-09-20
66
deepseek-ai/ESFT

Fine-Tuning Specialistico Esperto

deepseek-ai
โญ 737 Python ๐Ÿ‘ค deepseek-ai Organization ๐Ÿ• Aggiornato 2025-05-22 ๐Ÿ“… Creato 2024-07-04
โญ 729 Jupyter Notebook ๐Ÿ‘ค google-research Organization ๐Ÿ• Aggiornato 2026-11-10 ๐Ÿ“… Creato 2021-10-08
68
inclusionAI/Ming

Ming - facilita capacitร  avanzate di comprensione e generazione multimodale costruite sul Ling LLM.

inclusionAI
โญ 683 Jupyter Notebook ๐Ÿ‘ค inclusionAI Organization ๐Ÿ• Aggiornato 2026-07-27 ๐Ÿ“… Creato 2025-04-21
69
carloslfu/slotstream

Esegui un modello IA da 105 GB su un Mac che non puรฒ contenerlo. Qwen3.8-Flash-Next a 4 bit, trasmesso in streaming da SSD sui Mac Apple Silicon con 16โ€“64 GB di memoria. Completamente nativo in Swift, MLX e Metal. Offline, senza Python. CLI, libreria Swift e API Ollama/OpenAI/Anthropic. Compatibile con Claude Code e Codex.

carloslfu
โญ 674 Swift ๐Ÿ‘ค carloslfu User ๐Ÿ• Aggiornato 2026-11-17 ๐Ÿ“… Creato 2026-08-28
70
leonickson1/Swiftlet

Swiftlet รจ un runtime Swift e Metal che esegue modelli Qwen Mixture-of-Experts di grandi dimensioni localmente su dispositivi Apple tramite lo streaming dei pesi degli esperti dallo storage, consentendo ai modelli da 35B e 80B di funzionare con poca RAM, anche su iPhone.

leonickson1
โญ 667 Swift ๐Ÿ‘ค leonickson1 User ๐Ÿ• Aggiornato 2026-11-17 ๐Ÿ“… Creato 2026-08-03
71
codecaution/Awesome-Mixture-of-Experts-Papers

Un elenco di lettura curato di ricerche in Mixture-of-Experts (MoE).

codecaution
โญ 654 ๐Ÿ‘ค codecaution User ๐Ÿ• Aggiornato 2024-10-30 ๐Ÿ“… Creato 2022-02-24
72
perplexityai/pplx-kernels

Kernel GPU di Perplessitร 

perplexityai
โญ 614 C++ ๐Ÿ‘ค perplexityai Organization ๐Ÿ• Aggiornato 2025-11-07 ๐Ÿ“… Creato 2025-03-24
73
ymcui/Chinese-Mixtral

Modello linguistico di grandi dimensioni Mixtral Mixture-of-Experts in cinese (Chinese Mixtral MoE LLMs)

ymcui
โญ 613 Python ๐Ÿ‘ค ymcui User ๐Ÿ• Aggiornato 2026-04-19 ๐Ÿ“… Creato 2024-01-11
74
fe1ixxu/ALMA

Modelli di traduzione all'avanguardia basati su LLM.

fe1ixxu
โญ 585 Ruby ๐Ÿ‘ค fe1ixxu User ๐Ÿ• Aggiornato 2025-04-09 ๐Ÿ“… Creato 2023-09-13
โญ 557 Python ๐Ÿ‘ค Snowflake-Labs Organization ๐Ÿ• Aggiornato 2024-08-16 ๐Ÿ“… Creato 2024-04-22
76
Indras-Mirror/Xolotl

Xolotl: esegui DeepSeek-V4.1-Flash, con tutti i 552B parametri, come agente di programmazione locale su un singolo PC da gaming (RTX 4090 + 110 GB di RAM): ~33 tok/s come agente, ~41 in modalitร  veloce, contesto da 512K. Inoltre, Inkling-2-Mini (Thinking Machines, motore proprietario + generatore di bozze MTP), GLM-5.3-Flash, Qwen3.8 e LFM3-Omni. Esperti MoE organizzati a livelli tra VRAM, RAM e NVMe (Xolotl Direct). API OpenAI + Anthropic.

Indras-Mirror
โญ 549 C++ ๐Ÿ‘ค Indras-Mirror User ๐Ÿ• Aggiornato 2026-11-21 ๐Ÿ“… Creato 2026-10-06
77
brontoguana/krasis

Krasis รจ un runtime LLM ibrido che si concentra sull'esecuzione efficiente di modelli piรน grandi su hardware consumer con VRAM limitata

brontoguana
โญ 530 C++ ๐Ÿ‘ค brontoguana User ๐Ÿ• Aggiornato 2026-11-12 ๐Ÿ“… Creato 2026-02-09
78
Leeroo-AI/mergoo

Una libreria per unire facilmente piรน esperti LLM e addestrare in modo efficiente l'LLM unito.

Leeroo-AI
โญ 500 Python ๐Ÿ‘ค Leeroo-AI Organization ๐Ÿ• Aggiornato 2024-08-26 ๐Ÿ“… Creato 2024-04-08