#mixture-of-experts Repositórios
78 repositórios no total
Análise do código-fonte do modelo de linguagem grande leve MiniMind, incluindo processos completos como tokenizer, RoPE, MoE, KV Cache, pré-treinamento, SFT, LoRA, DPO.
Execute modelos MoE maiores que a sua RAM. MoE de ponta em um celular, laptop ou dispositivo de borda. Sem perdas, com o llama.cpp padrão. Um otimizador adaptativo de streaming. Qualquer hardware, sistema operacional, modelo e quantização, por meio de um servidor local compatível com a OpenAI.
Tutel MoE: Biblioteca otimizada de Mixture-of-Experts, com suporte a GLM/Kimi/GPT/DeepSeek/Qwen usando FP8/NVFP4/MXFP4
O cuDNN Frontend é o ponto de entrada moderno e de código aberto da NVIDIA para a biblioteca cuDNN e uma coleção crescente de kernels de código aberto de alto desempenho.
⛷️ LLaMA-MoE: Construindo Mixture-of-Experts a partir do LLaMA com Pré-treinamento Contínuo (EMNLP 2024)
Modelos abertos de nível de fronteira em uma TPU v5e-8 gratuita da Kaggle: GLM-5.3-Flash 320B MoE (~165 tokens/s, com nosso próprio mecanismo JAX) e Qwen3.8-27B bf16 (~130 tokens/s), contexto de 262k e cache de prefixos. Funciona com Claude Code, Codex, opencode e pi.
Implementação do zero de um modelo de linguagem esparso de mistura de especialistas inspirado no makemore de Andrej Karpathy :)
Interpretação, expansão e reprodução dos trabalhos da série DeepSeek.
37 tok/s com Qwen3-Next-80B (48 GB) num portátil com 32 GB; 24 sem rascunhos, contra 2,8 com llama.cpp; leitura a 62 contra 16 tok/s. Mais rápido que llama.cpp em todos os 13 modelos comparados em Q4_K_M. LLMs maiores do que a sua RAM, em C puro, para CPU ou GPU.
Ming - facilitando recursos avançados de compreensão e geração multimodal construídos sobre o Ling LLM.
Execute um modelo de IA de 105 GB em um Mac que não tem espaço para armazená-lo. Qwen3.8-Flash-Next de 4 bits, transmitido por streaming a partir de um SSD em Macs com Apple Silicon e 16–64 GB de memória. Totalmente nativo em Swift, MLX e Metal. Funciona offline, sem Python. CLI, biblioteca Swift e APIs Ollama/OpenAI/Anthropic. Compatível com Claude Code e Codex.
Swiftlet é um runtime Swift e Metal que executa grandes modelos Qwen Mixture-of-Experts localmente em dispositivos Apple, transmitindo pesos de especialistas do armazenamento, permitindo que modelos de 35B e 80B sejam executados com pouca RAM, inclusive no iPhone.
Uma lista de leitura selecionada de pesquisas em Mixture-of-Experts (MoE).
Grande Modelo de Linguagem Mixtral Chinês de Mistura de Especialistas (Chinese Mixtral MoE LLMs)
Xolotl: execute o DeepSeek-V4.1-Flash, com todos os 552B parâmetros, como um agente local de programação em um único PC gamer (RTX 4090 + 110 GB de RAM): ~33 tok/s no modo agente, ~41 no modo rápido e contexto de 512K. Além disso, Inkling-2-Mini (Thinking Machines, mecanismo próprio + gerador de rascunhos MTP), GLM-5.3-Flash, Qwen3.8 e LFM3-Omni. Especialistas MoE distribuídos em camadas entre VRAM, RAM e NVMe (Xolotl Direct). API da OpenAI + Anthropic.
Krasis é um runtime de LLM híbrido que se concentra na execução eficiente de modelos maiores em hardware de consumo com VRAM limitada
Uma biblioteca para mesclar facilmente vários especialistas de LLM e treinar eficientemente o LLM mesclado.