Git Stars Git Stars

#mixture-of-experts 저장소

78
총 리포지토리
392,641
총 별점
5,033
리포지토리당 평균 스타 수

저장소 총 78개

51
hans0809/MiniMind-in-Depth

경량 대규모 언어 모델 MiniMind의 소스 코드 분석, 토크나이저, RoPE, MoE, KV Cache, 사전 학습, SFT, LoRA, DPO 등 전체 프로세스 포함.

hans0809
⭐ 1,072 👤 hans0809 User 🕐 업데이트됨 2025-06-16 📅 생성됨 2025-06-16
52
Helldez/BigMoeOnEdge

RAM 용량보다 큰 MoE 모델을 실행하세요. 스마트폰, 노트북, 엣지 기기에서 최첨단 규모의 MoE를 만나보세요. 손실 없이, 기본 llama.cpp에서 실행됩니다. 적응형 스트리밍 최적화기. 모든 하드웨어, OS, 모델, 양자화를 지원하며 로컬 OpenAI 호환 서버를 통해 제공합니다.

Helldez
⭐ 1,066 C++ 👤 Helldez User 🕐 업데이트됨 2026-11-21 📅 생성됨 2026-07-10
53
jondurbin/airoboros

Self-Instruct 논문의 맞춤형 구현.

jondurbin
⭐ 1,050 Python 👤 jondurbin User 🕐 업데이트됨 2024-03-07 📅 생성됨 2023-04-29
54
microsoft/Tutel

Tutel MoE: FP8/NVFP4/MXFP4를 사용하는 GLM/Kimi/GPT/DeepSeek/Qwen을 지원하는 최적화된 Mixture-of-Experts 라이브러리

microsoft
⭐ 1,027 C 👤 microsoft Organization 🕐 업데이트됨 2026-11-06 📅 생성됨 2021-08-06
55
NVIDIA/cudnn-frontend

cuDNN Frontend는 cuDNN 라이브러리에 대한 NVIDIA의 현대적인 오픈 소스 진입점이자 고성능 오픈 소스 커널의 증가하는 컬렉션입니다.

NVIDIA
⭐ 1,008 Cuda 👤 NVIDIA Organization 🕐 업데이트됨 2026-11-21 📅 생성됨 2021-01-22
56
pjlab-sys4nlp/llama-moe

⛷️ LLaMA-MoE: LLaMA로 Mixture-of-Experts 구축 및 지속적인 사전 훈련 (EMNLP 2024)

pjlab-sys4nlp
⭐ 1,004 Python 👤 pjlab-sys4nlp Organization 🕐 업데이트됨 2024-12-06 📅 생성됨 2023-07-24
57
myshell-ai/JetMoE

0.1M 달러로 LLaMA2 성능 달성

myshell-ai
⭐ 988 Python 👤 myshell-ai Organization 🕐 업데이트됨 2024-07-23 📅 생성됨 2024-04-02
58
SMTorg/smt

SMT: 대리 모델링 도구 상자

SMTorg
⭐ 927 Jupyter Notebook 👤 SMTorg Organization 🕐 업데이트됨 2026-11-16 📅 생성됨 2016-11-08
59
InternLM/Intern-S1

과학적 멀티모달 파운데이션 모델

InternLM
⭐ 876 👤 InternLM Organization 🕐 업데이트됨 2026-09-13 📅 생성됨 2025-07-25
60
ARahim3/kaggle-tpu-lab

무료 Kaggle TPU v5e-8에서 실행되는 프런티어급 오픈 모델: GLM-5.3-Flash 320B MoE(약 165 tok/s, 자체 JAX 엔진 사용) 및 Qwen3.8-27B bf16(약 130 tok/s), 262k 컨텍스트와 프리픽스 캐싱 지원. Claude Code, Codex, opencode, pi와 함께 사용할 수 있습니다.

ARahim3
⭐ 812 Python 👤 ARahim3 User 🕐 업데이트됨 2026-10-06 📅 생성됨 2026-08-31
62
Dao-AILab/sonic-moe

IO 및 타일 인식 최적화를 통한 MoE 가속화

Dao-AILab
⭐ 791 Python 👤 Dao-AILab Organization 🕐 업데이트됨 2026-08-29 📅 생성됨 2025-12-15
63
AviSoori1x/makeMoE

Andrej Karpathy의 makemore에서 영감을 받은 희소 전문가 혼합 언어 모델의 처음부터 구현 :)

AviSoori1x
⭐ 783 Jupyter Notebook 👤 AviSoori1x User 🕐 업데이트됨 2024-10-30 📅 생성됨 2024-01-22
64
datawhalechina/unlock-deepseek

DeepSeek 시리즈 작업에 대한 심층 분석, 확장 및 재현.

datawhalechina
⭐ 743 Python 👤 datawhalechina Organization 🕐 업데이트됨 2026-03-09 📅 생성됨 2025-01-30
65
prabanta-dev/janas

32GB 노트북에서 Qwen3-Next-80B(48GB)를 37 tok/s로 실행합니다. 드래프트 없이도 24 tok/s로, llama.cpp의 2.8 tok/s보다 빠릅니다. 읽기 속도는 62 tok/s 대 16 tok/s입니다. Q4_K_M으로 비교한 13개 모델 모두에서 llama.cpp보다 빠릅니다. RAM보다 큰 LLM도 순수 C로 CPU 또는 GPU에서 실행하세요.

prabanta-dev
⭐ 738 C 👤 prabanta-dev Organization 🕐 업데이트됨 2026-11-20 📅 생성됨 2026-09-20
66
deepseek-ai/ESFT

전문 맞춤 미세 조정

deepseek-ai
⭐ 737 Python 👤 deepseek-ai Organization 🕐 업데이트됨 2025-05-22 📅 생성됨 2024-07-04
68
inclusionAI/Ming

Ming - Ling LLM을 기반으로 구축된 고급 멀티모달 이해 및 생성 기능을 촉진합니다.

inclusionAI
⭐ 683 Jupyter Notebook 👤 inclusionAI Organization 🕐 업데이트됨 2026-07-27 📅 생성됨 2025-04-21
69
carloslfu/slotstream

105GB 모델을 저장할 수 없는 Mac에서도 AI 모델을 실행하세요. 4비트 Qwen3.8-Flash-Next를 SSD에서 스트리밍해 메모리 16~64GB의 Apple Silicon Mac에서 구동합니다. Swift, MLX, Metal 기반의 완전 네이티브 구현입니다. 오프라인으로 작동하며 Python이 필요 없습니다. CLI, Swift 라이브러리, Ollama/OpenAI/Anthropic API를 제공합니다. Claude Code 및 Codex와 호환됩니다.

carloslfu
⭐ 674 Swift 👤 carloslfu User 🕐 업데이트됨 2026-11-17 📅 생성됨 2026-08-28
70
leonickson1/Swiftlet

Swiftlet은 Swift 및 Metal 런타임으로, 스토리지에서 전문가 가중치를 스트리밍하여 Apple 기기에서 대규모 Qwen Mixture-of-Experts 모델을 로컬로 실행합니다. 이를 통해 iPhone을 포함한 낮은 RAM 환경에서도 35B 및 80B 모델을 실행할 수 있습니다.

leonickson1
⭐ 667 Swift 👤 leonickson1 User 🕐 업데이트됨 2026-11-17 📅 생성됨 2026-08-03
71
codecaution/Awesome-Mixture-of-Experts-Papers

Mixture-of-Experts(MoE) 연구에 대한 큐레이션된 추천 목록입니다.

codecaution
⭐ 654 👤 codecaution User 🕐 업데이트됨 2024-10-30 📅 생성됨 2022-02-24
72
perplexityai/pplx-kernels

퍼플렉시티 GPU 커널

perplexityai
⭐ 614 C++ 👤 perplexityai Organization 🕐 업데이트됨 2025-11-07 📅 생성됨 2025-03-24
73
ymcui/Chinese-Mixtral

중국어 Mixtral Mixture-of-Experts LLM(Chinese Mixtral MoE LLMs)

ymcui
⭐ 613 Python 👤 ymcui User 🕐 업데이트됨 2026-04-19 📅 생성됨 2024-01-11
74
fe1ixxu/ALMA

최첨단 LLM 기반 번역 모델.

fe1ixxu
⭐ 585 Ruby 👤 fe1ixxu User 🕐 업데이트됨 2025-04-09 📅 생성됨 2023-09-13
76
Indras-Mirror/Xolotl

Xolotl: DeepSeek-V4.1-Flash의 552B 파라미터 전체를 단 한 대의 게이밍 PC(RTX 4090 + RAM 110GB)에서 로컬 코딩 에이전트로 실행합니다. 에이전트 모드에서는 약 33 tok/s, 고속 모드에서는 약 41 tok/s이며, 512K 컨텍스트를 지원합니다. 또한 Inkling-2-Mini(Thinking Machines, 자체 엔진 + MTP 초안 작성기), GLM-5.3-Flash, Qwen3.8, LFM3-Omni도 지원합니다. MoE 전문가를 VRAM, RAM, NVMe에 계층적으로 배치합니다(Xolotl Direct). OpenAI + Anthropic API.

Indras-Mirror
⭐ 549 C++ 👤 Indras-Mirror User 🕐 업데이트됨 2026-11-21 📅 생성됨 2026-10-06
77
brontoguana/krasis

Krasis는 VRAM이 제한된 소비자용 하드웨어에서 대규모 모델을 효율적으로 실행하는 데 중점을 둔 하이브리드 LLM 런타임입니다

brontoguana
⭐ 530 C++ 👤 brontoguana User 🕐 업데이트됨 2026-11-12 📅 생성됨 2026-02-09
78
Leeroo-AI/mergoo

여러 LLM 전문가를 쉽게 병합하고 병합된 LLM을 효율적으로 훈련하기 위한 라이브러리입니다.

Leeroo-AI
⭐ 500 Python 👤 Leeroo-AI Organization 🕐 업데이트됨 2024-08-26 📅 생성됨 2024-04-08