#moe Repository
Scopri 34 repository GitHub open source attivi contrassegnati con #moe, che raccolgono un totale di 317,125 stelle (con una media di 9,327 stelle per progetto). Il progetto leader di questo argomento è vllm-project/vllm, con 97,302 stelle.
34 repository in totale
Un motore di inferenza e serving per LLM ad alta produttività ed efficiente in termini di memoria
SGLang è un framework di serving ad alte prestazioni per modelli linguistici di grandi dimensioni e modelli multimodali.
FreeToken porta il servizio di modelli su scala data center sul tuo desktop. Esegui modelli enormi localmente, in modo rapido ed efficiente.
Utilizza PEFT o l’addestramento con tutti i parametri per CPT/SFT/DPO/GRPO su oltre 600 LLM (Qwen3.8, DeepSeek-V4, GLM-5.1, InternLM3, Llama4, ...) e oltre 300 MLLM (Qwen3-VL, Qwen3-Omni, InternVL3.5, Ovis2.5, GLM5.3, Gemma4, LLaVA, Phi4, ...) (AAAI 2025).
TensorRT LLM fornisce agli utenti un'API Python di facile utilizzo per definire Large Language Models (LLM) e supporta ottimizzazioni all'avanguardia per eseguire inferenze in modo efficiente sulle GPU NVIDIA. TensorRT LLM contiene anche componenti per creare runtime Python e C++ che orchestrano l'esecuzione dell'inferenza in modo performante.
Un modello Kimi K3 da 2,78 trilioni di parametri che esegue l'inferenza su una singola CPU con 8,24 GB di RAM. C99 portatile: niente BLAS, niente framework, niente GPU.
:electron: Un client app non ufficiale https://bgm.tv con UI first per Android e iOS, costruito con React Native. Un'app senza pubblicità, guidata dalla passione, non orientata al profitto, specializzata in ACG, simile a Douban per il tracciamento di anime, client di terze parti per bgm.tv. Riprogettata per dispositivi mobili, integra numerose funzioni migliorate difficili da realizzare sulla versione web, e offre opzioni di personalizzazione significative. Attualmente adattata per iOS / Android.
Esegui GLM-5.3 (744B), DeepSeek-V4.1-Flash (748B), MiniMax-M3.1-Flash (428B), GLM-5.3-Flash (321B) e Hy4-Flash (220B) sulle tue GPU — a partire da 8 GB di VRAM, con supporto per NVIDIA e AMD, un’unica dashboard e un’API compatibile con OpenAI e Anthropic.
UCCL è una libreria di comunicazione efficiente per GPU, che copre collettive, P2P (ad es. trasferimento cache KV, trasferimento pesi RL) ed EP (ad es. GPU-driven).
Esegui modelli più grandi della tua RAM o VRAM caricando in streaming gli esperti MoE da un SSD. Basato su llama.cpp.
Reimplementazione in PyTorch di "The Sparsely-Gated Mixture-of-Experts Layer" di Noam Shazeer et al. https://arxiv.org/abs/1701.06538
Esegui modelli MoE più grandi della tua RAM. MoE di frontiera su smartphone, laptop o dispositivo edge. Senza perdita, con llama.cpp standard. Un ottimizzatore adattivo in streaming. Qualsiasi hardware, sistema operativo, modello e quantizzazione, tramite un server locale compatibile con OpenAI.
Tutel MoE: libreria ottimizzata Mixture-of-Experts, con supporto per GLM/Kimi/GPT/DeepSeek/Qwen tramite FP8/NVFP4/MXFP4
Esegui Kimi K3 localmente su CPU con circa 55 GB di RAM di runtime misurata. Un server di inferenza Linux a file singolo basato su cPilot Runtime.
cuDNN Frontend è il moderno punto di accesso open source di NVIDIA alla libreria cuDNN e a una crescente raccolta di kernel open source ad alte prestazioni.
⛷️ LLaMA-MoE: Costruzione di Mixture-of-Experts da LLaMA con pre-addestramento continuo (EMNLP 2024)
Halo è un framework open source sviluppato da White Circle per addestrare modelli linguistici di grandi dimensioni e modelli multimodali
Adan: Algoritmo Adattivo di Momentum di Nesterov per l'Ottimizzazione più Veloce di Modelli Profondi
Una soluzione open-source per il fine-tuning completo dei parametri di DeepSeek-V3/R1 671B, che include codice completo e script dall'addestramento all'inferenza, nonché alcune esperienze pratiche e conclusioni.
⚡ Server di inferenza LLM MLX Swift nativo per Apple Silicon. API compatibile con OpenAI, streaming SSD per modelli MoE 100B+, compressione TurboQuant KV cache, app MACOS + iOS iPhone.
[CVPR2026]🚀🚀🚀Codice ufficiale per il paper "YOLO-Master: MOE-Accelerated con Transformer specializzati per un rilevamento in tempo reale migliorato." *(YOLO = You Only Look Once)* 🔥🔥🔥
Motore di inferenza LLM puro Rust + CUDA — nessun PyTorch, compatibile con OpenAI, serve da Qwen3 a Kimi-K2
37 tok/s con Qwen3-Next-80B (48 GB) su un laptop da 32 GB; 24 senza draft contro 2,8 con llama.cpp; lettura a 62 contro 16 tok/s. Più veloce di llama.cpp in tutti i 13 modelli confrontati in Q4_K_M. LLM più grandi della tua RAM, in puro C, per CPU o GPU.
Esegui un modello IA da 105 GB su un Mac che non può contenerlo. Qwen3.8-Flash-Next a 4 bit, trasmesso in streaming da SSD sui Mac Apple Silicon con 16–64 GB di memoria. Completamente nativo in Swift, MLX e Metal. Offline, senza Python. CLI, libreria Swift e API Ollama/OpenAI/Anthropic. Compatibile con Claude Code e Codex.
Schede bilingui (cinese + inglese) per i colloqui su ML / LLM / diffusion / agenti nella selezione autunnale per l’AI — generate da ARIS /interview-cheatsheet e trasformate da /render-html in file HTML singoli leggibili ovunque — oltre a un generatore di homepage accademiche verificato rispetto a CV→DBLP e blog in formato lungo scritti personalmente 🌱
Modello linguistico di grandi dimensioni Mixtral Mixture-of-Experts in cinese (Chinese Mixtral MoE LLMs)
Modelli MoE all’avanguardia su RTX PRO 6000 / RTX 5090 (sm_120): DeepSeek-V4.1-Flash su 4 RTX PRO 6000, in configurazione ibrida GPU+CPU su 4 RTX 5090 e modelli esperti a 2 bit su vLLM v0.24.0
Xolotl: esegui DeepSeek-V4.1-Flash, con tutti i 552B parametri, come agente di programmazione locale su un singolo PC da gaming (RTX 4090 + 110 GB di RAM): ~33 tok/s come agente, ~41 in modalità veloce, contesto da 512K. Inoltre, Inkling-2-Mini (Thinking Machines, motore proprietario + generatore di bozze MTP), GLM-5.3-Flash, Qwen3.8 e LFM3-Omni. Esperti MoE organizzati a livelli tra VRAM, RAM e NVMe (Xolotl Direct). API OpenAI + Anthropic.
Domande frequenti
Qual è il repository #moe più popolare su GitHub?
Il progetto open source #moe più alto in classifica su GitHub è vllm-project/vllm, con 97,302 stelle. Un motore di inferenza e serving per LLM ad alta produttività ed efficiente in termini di memoria
Quali linguaggi di programmazione sono più utilizzati nei repository #moe?
Tra i progetti #moe più alti in classifica su GitHub, i linguaggi di programmazione più comuni sono Python, C++, C, Cuda.
Come viene calcolata la classifica dei repository #moe?
Monitoriamo 34 repository open source attivi contrassegnati con #moe (500+ stelle), per un totale di 317,125 stelle e una media di 9,327 stelle per repository. Le classifiche vengono aggiornate quotidianamente tramite l’API di GitHub.