Git Stars Git Stars

#mixture-of-experts Repositórios

78
Total de Repositórios
392,641
Total de estrelas
5,033
Média de Estrelas/Repositório

78 repositórios no total

51
hans0809/MiniMind-in-Depth

Análise do código-fonte do modelo de linguagem grande leve MiniMind, incluindo processos completos como tokenizer, RoPE, MoE, KV Cache, pré-treinamento, SFT, LoRA, DPO.

hans0809
⭐ 1,072 👤 hans0809 User 🕐 Atualizado 2025-06-16 📅 Criado 2025-06-16
52
Helldez/BigMoeOnEdge

Execute modelos MoE maiores que a sua RAM. MoE de ponta em um celular, laptop ou dispositivo de borda. Sem perdas, com o llama.cpp padrão. Um otimizador adaptativo de streaming. Qualquer hardware, sistema operacional, modelo e quantização, por meio de um servidor local compatível com a OpenAI.

Helldez
⭐ 1,066 C++ 👤 Helldez User 🕐 Atualizado 2026-11-21 📅 Criado 2026-07-10
53
jondurbin/airoboros

Implementação personalizável do artigo 'self-instruct'.

jondurbin
⭐ 1,050 Python 👤 jondurbin User 🕐 Atualizado 2024-03-07 📅 Criado 2023-04-29
54
microsoft/Tutel

Tutel MoE: Biblioteca otimizada de Mixture-of-Experts, com suporte a GLM/Kimi/GPT/DeepSeek/Qwen usando FP8/NVFP4/MXFP4

microsoft
⭐ 1,027 C 👤 microsoft Organization 🕐 Atualizado 2026-11-06 📅 Criado 2021-08-06
55
NVIDIA/cudnn-frontend

O cuDNN Frontend é o ponto de entrada moderno e de código aberto da NVIDIA para a biblioteca cuDNN e uma coleção crescente de kernels de código aberto de alto desempenho.

NVIDIA
⭐ 1,008 Cuda 👤 NVIDIA Organization 🕐 Atualizado 2026-11-21 📅 Criado 2021-01-22
56
pjlab-sys4nlp/llama-moe

⛷️ LLaMA-MoE: Construindo Mixture-of-Experts a partir do LLaMA com Pré-treinamento Contínuo (EMNLP 2024)

pjlab-sys4nlp
⭐ 1,004 Python 👤 pjlab-sys4nlp Organization 🕐 Atualizado 2024-12-06 📅 Criado 2023-07-24
57
myshell-ai/JetMoE

Alcançando o Desempenho do LLaMA2 com 0,1 Milhão de Dólares

myshell-ai
⭐ 988 Python 👤 myshell-ai Organization 🕐 Atualizado 2024-07-23 📅 Criado 2024-04-02
58
SMTorg/smt

SMT: A Caixa de Ferramentas de Modelagem Substituta

SMTorg
⭐ 927 Jupyter Notebook 👤 SMTorg Organization 🕐 Atualizado 2026-11-16 📅 Criado 2016-11-08
59
InternLM/Intern-S1

Um Modelo Fundamental Multimodal Científico

InternLM
⭐ 876 👤 InternLM Organization 🕐 Atualizado 2026-09-13 📅 Criado 2025-07-25
60
ARahim3/kaggle-tpu-lab

Modelos abertos de nível de fronteira em uma TPU v5e-8 gratuita da Kaggle: GLM-5.3-Flash 320B MoE (~165 tokens/s, com nosso próprio mecanismo JAX) e Qwen3.8-27B bf16 (~130 tokens/s), contexto de 262k e cache de prefixos. Funciona com Claude Code, Codex, opencode e pi.

ARahim3
⭐ 812 Python 👤 ARahim3 User 🕐 Atualizado 2026-10-06 📅 Criado 2026-08-31
62
Dao-AILab/sonic-moe

Acelerando MoE com Otimizações Conscientes de E/S e de Tile

Dao-AILab
⭐ 791 Python 👤 Dao-AILab Organization 🕐 Atualizado 2026-08-29 📅 Criado 2025-12-15
63
AviSoori1x/makeMoE

Implementação do zero de um modelo de linguagem esparso de mistura de especialistas inspirado no makemore de Andrej Karpathy :)

AviSoori1x
⭐ 783 Jupyter Notebook 👤 AviSoori1x User 🕐 Atualizado 2024-10-30 📅 Criado 2024-01-22
64
datawhalechina/unlock-deepseek

Interpretação, expansão e reprodução dos trabalhos da série DeepSeek.

datawhalechina
⭐ 743 Python 👤 datawhalechina Organization 🕐 Atualizado 2026-03-09 📅 Criado 2025-01-30
65
prabanta-dev/janas

37 tok/s com Qwen3-Next-80B (48 GB) num portátil com 32 GB; 24 sem rascunhos, contra 2,8 com llama.cpp; leitura a 62 contra 16 tok/s. Mais rápido que llama.cpp em todos os 13 modelos comparados em Q4_K_M. LLMs maiores do que a sua RAM, em C puro, para CPU ou GPU.

prabanta-dev
⭐ 738 C 👤 prabanta-dev Organization 🕐 Atualizado 2026-11-20 📅 Criado 2026-09-20
66
deepseek-ai/ESFT

Ajuste Fino Especializado

deepseek-ai
⭐ 737 Python 👤 deepseek-ai Organization 🕐 Atualizado 2025-05-22 📅 Criado 2024-07-04
68
inclusionAI/Ming

Ming - facilitando recursos avançados de compreensão e geração multimodal construídos sobre o Ling LLM.

inclusionAI
⭐ 683 Jupyter Notebook 👤 inclusionAI Organization 🕐 Atualizado 2026-07-27 📅 Criado 2025-04-21
69
carloslfu/slotstream

Execute um modelo de IA de 105 GB em um Mac que não tem espaço para armazená-lo. Qwen3.8-Flash-Next de 4 bits, transmitido por streaming a partir de um SSD em Macs com Apple Silicon e 16–64 GB de memória. Totalmente nativo em Swift, MLX e Metal. Funciona offline, sem Python. CLI, biblioteca Swift e APIs Ollama/OpenAI/Anthropic. Compatível com Claude Code e Codex.

carloslfu
⭐ 674 Swift 👤 carloslfu User 🕐 Atualizado 2026-11-17 📅 Criado 2026-08-28
70
leonickson1/Swiftlet

Swiftlet é um runtime Swift e Metal que executa grandes modelos Qwen Mixture-of-Experts localmente em dispositivos Apple, transmitindo pesos de especialistas do armazenamento, permitindo que modelos de 35B e 80B sejam executados com pouca RAM, inclusive no iPhone.

leonickson1
⭐ 667 Swift 👤 leonickson1 User 🕐 Atualizado 2026-11-17 📅 Criado 2026-08-03
71
codecaution/Awesome-Mixture-of-Experts-Papers

Uma lista de leitura selecionada de pesquisas em Mixture-of-Experts (MoE).

codecaution
⭐ 654 👤 codecaution User 🕐 Atualizado 2024-10-30 📅 Criado 2022-02-24
72
perplexityai/pplx-kernels

Kernels de GPU de Perplexidade

perplexityai
⭐ 614 C++ 👤 perplexityai Organization 🕐 Atualizado 2025-11-07 📅 Criado 2025-03-24
73
ymcui/Chinese-Mixtral

Grande Modelo de Linguagem Mixtral Chinês de Mistura de Especialistas (Chinese Mixtral MoE LLMs)

ymcui
⭐ 613 Python 👤 ymcui User 🕐 Atualizado 2026-04-19 📅 Criado 2024-01-11
74
fe1ixxu/ALMA

Modelos de tradução de ponta baseados em LLM.

fe1ixxu
⭐ 585 Ruby 👤 fe1ixxu User 🕐 Atualizado 2025-04-09 📅 Criado 2023-09-13
76
Indras-Mirror/Xolotl

Xolotl: execute o DeepSeek-V4.1-Flash, com todos os 552B parâmetros, como um agente local de programação em um único PC gamer (RTX 4090 + 110 GB de RAM): ~33 tok/s no modo agente, ~41 no modo rápido e contexto de 512K. Além disso, Inkling-2-Mini (Thinking Machines, mecanismo próprio + gerador de rascunhos MTP), GLM-5.3-Flash, Qwen3.8 e LFM3-Omni. Especialistas MoE distribuídos em camadas entre VRAM, RAM e NVMe (Xolotl Direct). API da OpenAI + Anthropic.

Indras-Mirror
⭐ 549 C++ 👤 Indras-Mirror User 🕐 Atualizado 2026-11-21 📅 Criado 2026-10-06
77
brontoguana/krasis

Krasis é um runtime de LLM híbrido que se concentra na execução eficiente de modelos maiores em hardware de consumo com VRAM limitada

brontoguana
⭐ 530 C++ 👤 brontoguana User 🕐 Atualizado 2026-11-12 📅 Criado 2026-02-09
78
Leeroo-AI/mergoo

Uma biblioteca para mesclar facilmente vários especialistas de LLM e treinar eficientemente o LLM mesclado.

Leeroo-AI
⭐ 500 Python 👤 Leeroo-AI Organization 🕐 Atualizado 2024-08-26 📅 Criado 2024-04-08