#mixture-of-experts Repositorios
78 repositorios en total
Análisis del código fuente del modelo de lenguaje grande ligero MiniMind, que incluye procesos completos como tokenizer, RoPE, MoE, KV Cache, preentrenamiento, SFT, LoRA, DPO.
Ejecuta modelos MoE más grandes que tu RAM. MoE de última generación en un teléfono, portátil o dispositivo edge. Sin pérdidas, con llama.cpp sin modificar. Un optimizador de streaming adaptativo. Cualquier hardware, sistema operativo, modelo y cuantización, a través de un servidor local compatible con OpenAI.
Tutel MoE: Biblioteca optimizada de mezcla de expertos, compatible con GLM/Kimi/GPT/DeepSeek/Qwen mediante FP8/NVFP4/MXFP4
cuDNN Frontend es el punto de entrada moderno y de código abierto de NVIDIA a la biblioteca cuDNN y a una creciente colección de kernels de código abierto de alto rendimiento.
⛷️ LLaMA-MoE: Construyendo Mixture-of-Experts a partir de LLaMA con pre-entrenamiento continuo (EMNLP 2024)
Modelos abiertos de nivel frontera en una TPU v5e-8 gratuita de Kaggle: GLM-5.3-Flash 320B MoE (~165 tokens/s, con nuestro propio motor JAX) y Qwen3.8-27B bf16 (~130 tokens/s), contexto de 262k y caché de prefijos. Funciona con Claude Code, Codex, opencode y pi.
Aceleración de MoE mediante optimizaciones conscientes de E/S y de las teselas
Implementación desde cero de un modelo de lenguaje de mezcla dispersa de expertos inspirado en makemore de Andrej Karpathy :)
37 tok/s con Qwen3-Next-80B (48 GB) en un portátil de 32 GB; 24 sin borradores, frente a 2,8 con llama.cpp; lectura a 62 frente a 16 tok/s. Más rápido que llama.cpp en los 13 modelos comparados en Q4_K_M. LLM más grandes que tu RAM, en C puro, para CPU o GPU.
Ming: facilita capacidades avanzadas de comprensión y generación multimodal construidas sobre el Ling LLM.
Ejecuta un modelo de IA de 105 GB en un Mac que no puede almacenarlo. Qwen3.8-Flash-Next de 4 bits, transmitido desde un SSD en Macs con Apple Silicon y 16–64 GB de memoria. Totalmente nativo en Swift, MLX y Metal. Sin conexión y sin Python. CLI, biblioteca Swift y API de Ollama/OpenAI/Anthropic. Compatible con Claude Code y Codex.
Swiftlet es un entorno de ejecución de Swift y Metal que ejecuta grandes modelos Qwen Mixture-of-Experts localmente en dispositivos Apple mediante la transmisión de pesos de expertos desde el almacenamiento, lo que permite que los modelos de 35B y 80B se ejecuten con poca memoria RAM, incluso en el iPhone.
Una lista de lectura seleccionada de investigaciones en Mixture-of-Experts (MoE).
Gran modelo de lenguaje Mixtral Mixture-of-Experts chino (Chinese Mixtral MoE LLMs)
Xolotl: ejecuta DeepSeek-V4.1-Flash, con sus 552B parámetros completos, como agente de programación local en un solo PC gaming (RTX 4090 + 110 GB de RAM): ~33 tok/s como agente, ~41 en modo rápido y contexto de 512K. Además, Inkling-2-Mini (Thinking Machines, motor propio + generador de borradores MTP), GLM-5.3-Flash, Qwen3.8 y LFM3-Omni. Expertos MoE distribuidos por niveles entre la VRAM, la RAM y NVMe (Xolotl Direct). API de OpenAI + Anthropic.
Krasis es un entorno de ejecución de LLM híbrido que se centra en la ejecución eficiente de modelos más grandes en hardware de consumo con VRAM limitada
Una biblioteca para fusionar fácilmente múltiples expertos de LLM y entrenar eficientemente el LLM fusionado.