#mixture-of-experts 저장소
저장소 총 78개
경량 대규모 언어 모델 MiniMind의 소스 코드 분석, 토크나이저, RoPE, MoE, KV Cache, 사전 학습, SFT, LoRA, DPO 등 전체 프로세스 포함.
RAM 용량보다 큰 MoE 모델을 실행하세요. 스마트폰, 노트북, 엣지 기기에서 최첨단 규모의 MoE를 만나보세요. 손실 없이, 기본 llama.cpp에서 실행됩니다. 적응형 스트리밍 최적화기. 모든 하드웨어, OS, 모델, 양자화를 지원하며 로컬 OpenAI 호환 서버를 통해 제공합니다.
Tutel MoE: FP8/NVFP4/MXFP4를 사용하는 GLM/Kimi/GPT/DeepSeek/Qwen을 지원하는 최적화된 Mixture-of-Experts 라이브러리
cuDNN Frontend는 cuDNN 라이브러리에 대한 NVIDIA의 현대적인 오픈 소스 진입점이자 고성능 오픈 소스 커널의 증가하는 컬렉션입니다.
무료 Kaggle TPU v5e-8에서 실행되는 프런티어급 오픈 모델: GLM-5.3-Flash 320B MoE(약 165 tok/s, 자체 JAX 엔진 사용) 및 Qwen3.8-27B bf16(약 130 tok/s), 262k 컨텍스트와 프리픽스 캐싱 지원. Claude Code, Codex, opencode, pi와 함께 사용할 수 있습니다.
32GB 노트북에서 Qwen3-Next-80B(48GB)를 37 tok/s로 실행합니다. 드래프트 없이도 24 tok/s로, llama.cpp의 2.8 tok/s보다 빠릅니다. 읽기 속도는 62 tok/s 대 16 tok/s입니다. Q4_K_M으로 비교한 13개 모델 모두에서 llama.cpp보다 빠릅니다. RAM보다 큰 LLM도 순수 C로 CPU 또는 GPU에서 실행하세요.
105GB 모델을 저장할 수 없는 Mac에서도 AI 모델을 실행하세요. 4비트 Qwen3.8-Flash-Next를 SSD에서 스트리밍해 메모리 16~64GB의 Apple Silicon Mac에서 구동합니다. Swift, MLX, Metal 기반의 완전 네이티브 구현입니다. 오프라인으로 작동하며 Python이 필요 없습니다. CLI, Swift 라이브러리, Ollama/OpenAI/Anthropic API를 제공합니다. Claude Code 및 Codex와 호환됩니다.
Swiftlet은 Swift 및 Metal 런타임으로, 스토리지에서 전문가 가중치를 스트리밍하여 Apple 기기에서 대규모 Qwen Mixture-of-Experts 모델을 로컬로 실행합니다. 이를 통해 iPhone을 포함한 낮은 RAM 환경에서도 35B 및 80B 모델을 실행할 수 있습니다.
Xolotl: DeepSeek-V4.1-Flash의 552B 파라미터 전체를 단 한 대의 게이밍 PC(RTX 4090 + RAM 110GB)에서 로컬 코딩 에이전트로 실행합니다. 에이전트 모드에서는 약 33 tok/s, 고속 모드에서는 약 41 tok/s이며, 512K 컨텍스트를 지원합니다. 또한 Inkling-2-Mini(Thinking Machines, 자체 엔진 + MTP 초안 작성기), GLM-5.3-Flash, Qwen3.8, LFM3-Omni도 지원합니다. MoE 전문가를 VRAM, RAM, NVMe에 계층적으로 배치합니다(Xolotl Direct). OpenAI + Anthropic API.