#moe Repositories
Entdecke 34 aktive Open-Source-GitHub-Repositories, die mit #moe getaggt sind und insgesamt 317,125 Sterne gesammelt haben (durchschnittlich 9,327 Sterne pro Projekt). Spitzenreiter in diesem Themenbereich ist vllm-project/vllm mit 97,302 Sternen.
Insgesamt 34 Repositories
Eine hochdurchsatzfähige und speichereffiziente Inferenz- und Serving-Engine für LLMs
Vereinheitlichte effiziente Feinabstimmung von über 100 LLMs & VLMs (ACL 2024)
SGLang ist ein Hochleistungs-Serving-Framework für große Sprachmodelle und multimodale Modelle.
FreeToken bringt Modellbereitstellung auf Rechenzentrumsniveau auf Ihren Desktop. Führen Sie riesige Modelle lokal, schnell und effizient aus.
Verwenden Sie PEFT oder ein Training mit vollständigen Parametern für CPT/SFT/DPO/GRPO auf über 600 LLMs (Qwen3.8, DeepSeek-V4, GLM-5.1, InternLM3, Llama4, ...) und über 300 MLLMs (Qwen3-VL, Qwen3-Omni, InternVL3.5, Ovis2.5, GLM5.3, Gemma4, LLaVA, Phi4, ...) (AAAI 2025).
TensorRT LLM bietet Benutzern eine einfach zu bedienende Python-API zur Definition von Large Language Models (LLMs) und unterstützt hochmoderne Optimierungen für eine effiziente Inferenz auf NVIDIA GPUs. TensorRT LLM enthält außerdem Komponenten zur Erstellung von Python- und C++-Runtimes, die die Inferenzdurchführung auf performante Weise orchestrieren.
Ein Kimi K3-Modell mit 2,78 Billionen Parametern, das Inferenz auf einer einzelnen CPU mit 8,24 GB RAM ausführt. Portables C99: kein BLAS, kein Framework, keine GPU.
:electron: Eine inoffizielle UI-first-App-Client für https://bgm.tv für Android und iOS, gebaut mit React Native. Eine werbefreie, von Hobbys getriebene, nicht gewinnorientierte, speziell für ACG entwickelte, ähnliche Douban-ähnliche Anime-Tracking-App, bgm.tv-Drittanbieter-Client. Für mobile Geräte neu gestaltet, mit vielen erweiterten Funktionen, die auf der Webversion schwer umsetzbar sind, und erheblichen Anpassungsoptionen. Derzeit für iOS / Android angepasst.
GLM-4.5: Agentische, Schlussfolgernde und Kodierungsfähige (ARC) Fundamentmodelle
Führen Sie GLM-5.3 (744B), DeepSeek-V4.1-Flash (748B), MiniMax-M3.1-Flash (428B), GLM-5.3-Flash (321B) und Hy4-Flash (220B) auf Ihren eigenen GPUs aus – ab 8 GB VRAM, mit Unterstützung für NVIDIA und AMD, einem einzigen Dashboard sowie einer mit OpenAI und Anthropic kompatiblen API.
UCCL ist eine effiziente Kommunikationsbibliothek für GPUs, die Kollektive, P2P (z. B. KV-Cache-Übertragung, RL-Gewichtsübertragung) und EP (z. B. GPU-gesteuert) abdeckt.
Führe Modelle aus, die größer sind als dein RAM oder VRAM, indem du MoE-Experten von einer SSD streamst. Basiert auf llama.cpp.
PyTorch-Reimplementierung von "The Sparsely-Gated Mixture-of-Experts Layer" von Noam Shazeer et al. https://arxiv.org/abs/1701.06538
Führe MoE-Modelle aus, die größer sind als dein RAM. MoE-Modelle der Spitzenklasse auf einem Smartphone, Laptop oder Edge-Gerät. Verlustfrei, mit unverändertem llama.cpp. Ein adaptiver Streaming-Optimierer. Jede Hardware, jedes Betriebssystem, jedes Modell und jede Quantisierung – über einen lokalen OpenAI-kompatiblen Server.
Tutel MoE: Optimierte Mixture-of-Experts-Bibliothek mit Unterstützung für GLM/Kimi/GPT/DeepSeek/Qwen unter Verwendung von FP8/NVFP4/MXFP4
Führen Sie Kimi K3 lokal auf der CPU mit ca. 55 GB gemessenem Laufzeit-RAM aus. Ein Einzeldatei-Linux-Inferenzserver, betrieben von cPilot Runtime.
cuDNN Frontend ist NVIDIAs moderner Open-Source-Einstiegspunkt zur cuDNN-Bibliothek und eine wachsende Sammlung von leistungsstarken Open-Source-Kernels.
⛷️ LLaMA-MoE: Aufbau von Mixture-of-Experts aus LLaMA mit fortlaufendem Vortraining (EMNLP 2024)
Halo ist ein von White Circle entwickeltes Open-Source-Framework zum Trainieren großer Sprachmodelle und multimodaler Modelle
Adan: Adaptive Nesterov Momentum Algorithm für schnelleres Optimieren tiefer Modelle
Eine Open-Source-Lösung für das Fine-Tuning des vollständigen Parameters von DeepSeek-V3/R1 671B, einschließlich vollständigem Code und Skripten vom Training bis zur Inferenz sowie einiger praktischer Erfahrungen und Schlussfolgerungen.
⚡ Native MLX Swift LLM-Inferenzserver für Apple Silicon. OpenAI-kompatible API, SSD-Streaming für 100B+ MoE-Modelle, TurboQuant KV-Cache-Kompression, MACOS + iOS iPhone-App.
[CVPR2026]🚀🚀🚀Offizieller Code für das Papier "YOLO-Master: MOE-Accelerated mit spezialisierten Transformern für verbesserte Echtzeit-Erkennung." *(YOLO = You Only Look Once)* 🔥🔥🔥
LLM-Architekturen von Grund auf mit PyTorch implementieren
Reine Rust + CUDA LLM-Inferenz-Engine — kein PyTorch, OpenAI-kompatibel, bedient Qwen3 bis Kimi-K2
37 tok/s mit Qwen3-Next-80B (48 GB) auf einem 32-GB-Laptop; 24 ohne Drafts gegenüber 2,8 mit llama.cpp; beim Lesen 62 gegenüber 16 tok/s. Schneller als llama.cpp bei allen 13 Modellen, die in Q4_K_M verglichen wurden. LLMs, die größer sind als dein RAM – pures C, für CPU oder GPU.
Führen Sie ein 105-GB-KI-Modell auf einem Mac aus, auf dem es nicht vollständig Platz findet. Qwen3.8-Flash-Next in 4-Bit, gestreamt von einer SSD auf Apple-Silicon-Macs mit 16–64 GB Arbeitsspeicher. Vollständig nativ mit Swift, MLX und Metal. Offline, ohne Python. CLI, Swift-Bibliothek sowie Ollama-/OpenAI-/Anthropic-APIs. Funktioniert mit Claude Code und Codex.
Bilinguale (Chinesisch + Englisch) Spickzettel für Vorstellungsgespräche zu ML / LLM / Diffusion / Agenten im herbstlichen KI-Recruiting — erstellt mit ARIS /interview-cheatsheet und von /render-html als überall lesbare einteilige HTML-Dateien gerendert — außerdem ein anhand von CV→DBLP faktengeprüfter Generator für akademische Homepages sowie selbst verfasste Langform-Blogs 🌱
Moderne MoE-Modelle auf RTX PRO 6000 / RTX 5090 (sm_120): DeepSeek-V4.1-Flash auf 4 RTX PRO 6000, als GPU+CPU-Hybrid auf 4 RTX 5090 und 2-Bit-Experten auf vLLM v0.24.0
Xolotl: Führe DeepSeek-V4.1-Flash mit allen 552B Parametern als lokalen Coding-Agent auf einem einzigen Gaming-PC aus (RTX 4090 + 110 GB RAM): ca. 33 Tok/s im Agentenmodus, ca. 41 im Schnellmodus, 512K Kontext. Dazu Inkling-2-Mini (Thinking Machines, eigene Engine + MTP-Entwurfsmodul), GLM-5.3-Flash, Qwen3.8 und LFM3-Omni. MoE-Experten werden stufenweise über VRAM, RAM und NVMe verteilt (Xolotl Direct). OpenAI- und Anthropic-API.
Häufig gestellte Fragen
Welches ist das beliebteste #moe-Repository auf GitHub?
Das am höchsten eingestufte Open-Source-#moe-Projekt auf GitHub ist vllm-project/vllm mit 97,302 Sternen. Eine hochdurchsatzfähige und speichereffiziente Inferenz- und Serving-Engine für LLMs
Welche Programmiersprachen werden in #moe-Repositories am häufigsten verwendet?
Unter den am höchsten eingestuften #moe-Projekten auf GitHub sind Python, C++, C, Cuda die am häufigsten verwendeten Programmiersprachen.
Wie wird das Ranking der #moe-Repositories berechnet?
Wir verfolgen 34 aktive Open-Source-Repositories, die mit #moe getaggt sind (500+ Sterne), mit insgesamt 317,125 Sternen und durchschnittlich 9,327 Sternen pro Repository. Die Rankings werden täglich über die GitHub-API aktualisiert.