#mixture-of-experts Repository
78 repository in totale
Analisi del codice sorgente del modello linguistico di grandi dimensioni leggero MiniMind, che copre processi completi come tokenizer, RoPE, MoE, KV Cache, pre-addestramento, SFT, LoRA, DPO.
Esegui modelli MoE piรน grandi della tua RAM. MoE di frontiera su smartphone, laptop o dispositivo edge. Senza perdita, con llama.cpp standard. Un ottimizzatore adattivo in streaming. Qualsiasi hardware, sistema operativo, modello e quantizzazione, tramite un server locale compatibile con OpenAI.
Tutel MoE: libreria ottimizzata Mixture-of-Experts, con supporto per GLM/Kimi/GPT/DeepSeek/Qwen tramite FP8/NVFP4/MXFP4
cuDNN Frontend รจ il moderno punto di accesso open source di NVIDIA alla libreria cuDNN e a una crescente raccolta di kernel open source ad alte prestazioni.
โท๏ธ LLaMA-MoE: Costruzione di Mixture-of-Experts da LLaMA con pre-addestramento continuo (EMNLP 2024)
Modelli open di livello frontier su una TPU v5e-8 gratuita di Kaggle: GLM-5.3-Flash 320B MoE (~165 token/s, con il nostro motore JAX) e Qwen3.8-27B bf16 (~130 token/s), contesto da 262k e caching dei prefissi. Funziona con Claude Code, Codex, opencode e pi.
Implementazione da zero di un modello linguistico sparse mixture of experts ispirato a makemore di Andrej Karpathy :)
37 tok/s con Qwen3-Next-80B (48 GB) su un laptop da 32 GB; 24 senza draft contro 2,8 con llama.cpp; lettura a 62 contro 16 tok/s. Piรน veloce di llama.cpp in tutti i 13 modelli confrontati in Q4_K_M. LLM piรน grandi della tua RAM, in puro C, per CPU o GPU.
Ming - facilita capacitร avanzate di comprensione e generazione multimodale costruite sul Ling LLM.
Esegui un modello IA da 105 GB su un Mac che non puรฒ contenerlo. Qwen3.8-Flash-Next a 4 bit, trasmesso in streaming da SSD sui Mac Apple Silicon con 16โ64 GB di memoria. Completamente nativo in Swift, MLX e Metal. Offline, senza Python. CLI, libreria Swift e API Ollama/OpenAI/Anthropic. Compatibile con Claude Code e Codex.
Swiftlet รจ un runtime Swift e Metal che esegue modelli Qwen Mixture-of-Experts di grandi dimensioni localmente su dispositivi Apple tramite lo streaming dei pesi degli esperti dallo storage, consentendo ai modelli da 35B e 80B di funzionare con poca RAM, anche su iPhone.
Un elenco di lettura curato di ricerche in Mixture-of-Experts (MoE).
Modello linguistico di grandi dimensioni Mixtral Mixture-of-Experts in cinese (Chinese Mixtral MoE LLMs)
Xolotl: esegui DeepSeek-V4.1-Flash, con tutti i 552B parametri, come agente di programmazione locale su un singolo PC da gaming (RTX 4090 + 110 GB di RAM): ~33 tok/s come agente, ~41 in modalitร veloce, contesto da 512K. Inoltre, Inkling-2-Mini (Thinking Machines, motore proprietario + generatore di bozze MTP), GLM-5.3-Flash, Qwen3.8 e LFM3-Omni. Esperti MoE organizzati a livelli tra VRAM, RAM e NVMe (Xolotl Direct). API OpenAI + Anthropic.
Krasis รจ un runtime LLM ibrido che si concentra sull'esecuzione efficiente di modelli piรน grandi su hardware consumer con VRAM limitata
Una libreria per unire facilmente piรน esperti LLM e addestrare in modo efficiente l'LLM unito.