Git Stars Git Stars

#mixture-of-experts Repositorios

78
Total de Repositorios
392,641
Total de estrellas
5,033
Promedio de Estrellas/Repo

78 repositorios en total

51
hans0809/MiniMind-in-Depth

Análisis del código fuente del modelo de lenguaje grande ligero MiniMind, que incluye procesos completos como tokenizer, RoPE, MoE, KV Cache, preentrenamiento, SFT, LoRA, DPO.

hans0809
⭐ 1,072 👤 hans0809 User 🕐 Actualizado 2025-06-16 📅 Creado 2025-06-16
52
Helldez/BigMoeOnEdge

Ejecuta modelos MoE más grandes que tu RAM. MoE de última generación en un teléfono, portátil o dispositivo edge. Sin pérdidas, con llama.cpp sin modificar. Un optimizador de streaming adaptativo. Cualquier hardware, sistema operativo, modelo y cuantización, a través de un servidor local compatible con OpenAI.

Helldez
⭐ 1,066 C++ 👤 Helldez User 🕐 Actualizado 2026-11-21 📅 Creado 2026-07-10
53
jondurbin/airoboros

Implementación personalizable del artículo "self-instruct".

jondurbin
⭐ 1,050 Python 👤 jondurbin User 🕐 Actualizado 2024-03-07 📅 Creado 2023-04-29
54
microsoft/Tutel

Tutel MoE: Biblioteca optimizada de mezcla de expertos, compatible con GLM/Kimi/GPT/DeepSeek/Qwen mediante FP8/NVFP4/MXFP4

microsoft
⭐ 1,027 C 👤 microsoft Organization 🕐 Actualizado 2026-11-06 📅 Creado 2021-08-06
55
NVIDIA/cudnn-frontend

cuDNN Frontend es el punto de entrada moderno y de código abierto de NVIDIA a la biblioteca cuDNN y a una creciente colección de kernels de código abierto de alto rendimiento.

NVIDIA
⭐ 1,008 Cuda 👤 NVIDIA Organization 🕐 Actualizado 2026-11-21 📅 Creado 2021-01-22
56
pjlab-sys4nlp/llama-moe

⛷️ LLaMA-MoE: Construyendo Mixture-of-Experts a partir de LLaMA con pre-entrenamiento continuo (EMNLP 2024)

pjlab-sys4nlp
⭐ 1,004 Python 👤 pjlab-sys4nlp Organization 🕐 Actualizado 2024-12-06 📅 Creado 2023-07-24
57
myshell-ai/JetMoE

Alcanzar el rendimiento de LLaMA2 con 0,1 millones de dólares

myshell-ai
⭐ 988 Python 👤 myshell-ai Organization 🕐 Actualizado 2024-07-23 📅 Creado 2024-04-02
58
SMTorg/smt

SMT: La Caja de Herramientas de Modelado Sustituto

SMTorg
⭐ 927 Jupyter Notebook 👤 SMTorg Organization 🕐 Actualizado 2026-11-16 📅 Creado 2016-11-08
59
InternLM/Intern-S1

Un modelo fundacional científico multimodal

InternLM
⭐ 876 👤 InternLM Organization 🕐 Actualizado 2026-09-13 📅 Creado 2025-07-25
60
ARahim3/kaggle-tpu-lab

Modelos abiertos de nivel frontera en una TPU v5e-8 gratuita de Kaggle: GLM-5.3-Flash 320B MoE (~165 tokens/s, con nuestro propio motor JAX) y Qwen3.8-27B bf16 (~130 tokens/s), contexto de 262k y caché de prefijos. Funciona con Claude Code, Codex, opencode y pi.

ARahim3
⭐ 812 Python 👤 ARahim3 User 🕐 Actualizado 2026-10-06 📅 Creado 2026-08-31
62
Dao-AILab/sonic-moe

Aceleración de MoE mediante optimizaciones conscientes de E/S y de las teselas

Dao-AILab
⭐ 791 Python 👤 Dao-AILab Organization 🕐 Actualizado 2026-08-29 📅 Creado 2025-12-15
63
AviSoori1x/makeMoE

Implementación desde cero de un modelo de lenguaje de mezcla dispersa de expertos inspirado en makemore de Andrej Karpathy :)

AviSoori1x
⭐ 783 Jupyter Notebook 👤 AviSoori1x User 🕐 Actualizado 2024-10-30 📅 Creado 2024-01-22
64
datawhalechina/unlock-deepseek

Análisis, extensiones y reproducciones de la serie DeepSeek.

datawhalechina
⭐ 743 Python 👤 datawhalechina Organization 🕐 Actualizado 2026-03-09 📅 Creado 2025-01-30
65
prabanta-dev/janas

37 tok/s con Qwen3-Next-80B (48 GB) en un portátil de 32 GB; 24 sin borradores, frente a 2,8 con llama.cpp; lectura a 62 frente a 16 tok/s. Más rápido que llama.cpp en los 13 modelos comparados en Q4_K_M. LLM más grandes que tu RAM, en C puro, para CPU o GPU.

prabanta-dev
⭐ 738 C 👤 prabanta-dev Organization 🕐 Actualizado 2026-11-20 📅 Creado 2026-09-20
66
deepseek-ai/ESFT

Ajuste Fino Experto Especializado

deepseek-ai
⭐ 737 Python 👤 deepseek-ai Organization 🕐 Actualizado 2025-05-22 📅 Creado 2024-07-04
68
inclusionAI/Ming

Ming: facilita capacidades avanzadas de comprensión y generación multimodal construidas sobre el Ling LLM.

inclusionAI
⭐ 683 Jupyter Notebook 👤 inclusionAI Organization 🕐 Actualizado 2026-07-27 📅 Creado 2025-04-21
69
carloslfu/slotstream

Ejecuta un modelo de IA de 105 GB en un Mac que no puede almacenarlo. Qwen3.8-Flash-Next de 4 bits, transmitido desde un SSD en Macs con Apple Silicon y 16–64 GB de memoria. Totalmente nativo en Swift, MLX y Metal. Sin conexión y sin Python. CLI, biblioteca Swift y API de Ollama/OpenAI/Anthropic. Compatible con Claude Code y Codex.

carloslfu
⭐ 674 Swift 👤 carloslfu User 🕐 Actualizado 2026-11-17 📅 Creado 2026-08-28
70
leonickson1/Swiftlet

Swiftlet es un entorno de ejecución de Swift y Metal que ejecuta grandes modelos Qwen Mixture-of-Experts localmente en dispositivos Apple mediante la transmisión de pesos de expertos desde el almacenamiento, lo que permite que los modelos de 35B y 80B se ejecuten con poca memoria RAM, incluso en el iPhone.

leonickson1
⭐ 667 Swift 👤 leonickson1 User 🕐 Actualizado 2026-11-17 📅 Creado 2026-08-03
71
codecaution/Awesome-Mixture-of-Experts-Papers

Una lista de lectura seleccionada de investigaciones en Mixture-of-Experts (MoE).

codecaution
⭐ 654 👤 codecaution User 🕐 Actualizado 2024-10-30 📅 Creado 2022-02-24
72
perplexityai/pplx-kernels

Núcleos GPU de Perplejidad

perplexityai
⭐ 614 C++ 👤 perplexityai Organization 🕐 Actualizado 2025-11-07 📅 Creado 2025-03-24
73
ymcui/Chinese-Mixtral

Gran modelo de lenguaje Mixtral Mixture-of-Experts chino (Chinese Mixtral MoE LLMs)

ymcui
⭐ 613 Python 👤 ymcui User 🕐 Actualizado 2026-04-19 📅 Creado 2024-01-11
74
fe1ixxu/ALMA

Modelos de traducción de última generación basados en LLM.

fe1ixxu
⭐ 585 Ruby 👤 fe1ixxu User 🕐 Actualizado 2025-04-09 📅 Creado 2023-09-13
76
Indras-Mirror/Xolotl

Xolotl: ejecuta DeepSeek-V4.1-Flash, con sus 552B parámetros completos, como agente de programación local en un solo PC gaming (RTX 4090 + 110 GB de RAM): ~33 tok/s como agente, ~41 en modo rápido y contexto de 512K. Además, Inkling-2-Mini (Thinking Machines, motor propio + generador de borradores MTP), GLM-5.3-Flash, Qwen3.8 y LFM3-Omni. Expertos MoE distribuidos por niveles entre la VRAM, la RAM y NVMe (Xolotl Direct). API de OpenAI + Anthropic.

Indras-Mirror
⭐ 549 C++ 👤 Indras-Mirror User 🕐 Actualizado 2026-11-21 📅 Creado 2026-10-06
77
brontoguana/krasis

Krasis es un entorno de ejecución de LLM híbrido que se centra en la ejecución eficiente de modelos más grandes en hardware de consumo con VRAM limitada

brontoguana
⭐ 530 C++ 👤 brontoguana User 🕐 Actualizado 2026-11-12 📅 Creado 2026-02-09
78
Leeroo-AI/mergoo

Una biblioteca para fusionar fácilmente múltiples expertos de LLM y entrenar eficientemente el LLM fusionado.

Leeroo-AI
⭐ 500 Python 👤 Leeroo-AI Organization 🕐 Actualizado 2024-08-26 📅 Creado 2024-04-08