#sglang Repositories
Entdecke 38 aktive Open-Source-GitHub-Repositories, die mit #sglang getaggt sind und insgesamt 109,680 Sterne gesammelt haben (durchschnittlich 2,886 Sterne pro Projekt). Spitzenreiter in diesem Themenbereich ist xorbitsai/inference mit 9,667 Sternen.
Insgesamt 38 Repositories
Open-Source-Inferenzplattform für Sprach-, Vision-, Embedding-, Reranking-, Bild-, Audio- und Videomodelle. Stellen Sie mehrere Engines auf heterogener Hardware bereit – vom Laptop bis zum verteilten Cluster. Stellen Sie Modelle über OpenAI-kompatible APIs bereit.
Mooncake ist die Serving-Plattform für Kimi, einen führenden LLM-Service, der von Moonshot AI bereitgestellt wird.
Ein GPU-Cluster-Manager für hochleistungsfähiges KI-Modell-Serving (vLLM, SGLang) und bedarfsgesteuerte, per SSH zugängliche GPU-Instanzen.
Teilen von AI-Infrastrukturwissen und Code-Praxis: PyTorch, vLLM/SGLang, Einführung in das slime/vime-Framework ⚡️, Leistungsbeschleunigung 🚀, Grundlagen großer Modelle 🧠, KI-Software und -Hardware 🔧 usw.
KI-Grundlagen – GPU-Architektur, CUDA-Programmierung, Grundlagen großer Sprachmodelle und Wissen zu KI-Agenten.
Miles ist ein auf Unternehmen ausgelegtes Verstärkungslern-Framework für die Nachtrainierung von LLM und VLM, abgezweigt von und gemeinsam mit slime weiterentwickelt.
Eine Bibliothek für fortgeschrittene Schlussfolgerungen großer Sprachmodelle
Offizieller SGLang-x-Datawhale-Kurs zur LLM-Inferenz: Verstehe die Inferenz, entwickle ein Mini-SGLang von Grund auf, lies anschließend den echten SGLang-Quellcode und reiche deinen ersten PR ein. Auf Englisch und Chinesisch verfügbar.
Virtualisierter elastischer KV-Cache für dynamische GPU-Freigabe und darüber hinaus
Effizienz der Post-Training-Quantisierung, Genauigkeit der quantisierungsbewussten Trainingsmethode
Ein mehrsprachiges Modell zur Synthese von Langformdialogen mit mehreren Sprechern, flexibler Sprechersteuerung und Zero-Shot-Stimmenklonung
MiMo-V2-Flash: Effizientes Schlussfolgern, Codieren und agentisches Basismodell
Toolkit zur Quantisierung (Komprimierung) von LLM-Modellen mit Hardwarebeschleunigung für Nvidia CUDA, AMD ROCm, Intel XPU, Tenstorrent, Huawei-Ascend-NPUs und Intel-/AMD-/Apple-CPUs über HF, vLLM und SGLang.
Trainieren Sie spekulative Dekodierungsmodelle mühelos und portieren Sie sie reibungslos auf SGLang Serving.
Ein 10-Wochen-Plan mit 30 Minuten täglich für das Bereitstellen und Optimieren von LLM-Inferenz. vLLM, SGLang, Quantisierung, spekulatives Decoding und Benchmarking.
Ein Basismodell, das synchronisierte Videos und Audiodaten in einem einzigen Modell generiert
UniRL ist ein Framework für das Reinforcement Learning vereinheitlichter multimodaler Modelle
Checkpoint-engine ist eine einfache Middleware zur Aktualisierung von Modellgewichten in LLM-Inferenz-Engines
Ein CLI zur Schätzung des Speicherbedarfs für Inferenz bei Hugging Face Modellen, geschrieben in Python.
Offene Modellreihe Spark-x2.6. Die Grenzen agentischer Fähigkeiten von On-Device-Modellen erweitern
Engine-agnostisches LLM-Gateway in Rust. Vollständige Kompatibilität mit den OpenAI- und Anthropic-APIs für vLLM, TRT-LLM, TokenSpeed, SGLang, OpenAI, Gemini und weitere. Branchenweit erste gRPC-Pipeline, KV-Cache-bewusstes Routing, Chatverlauf, Tokenisierungs-Caching, Responses API, Embeddings, WASM-Plugins, MCP und mandantenfähige Authentifizierung.
Bietet hochwertige chinesische Sprachsynthese und Klonen von Stimmen, basierend auf Modellen wie SparkTTS und OrpheusTTS.
sparkrun – LLM-Inferenz-Workloads auf NVIDIA-DGX-Spark-Systemen starten, verwalten und stoppen. Live-Support: https://discord.com/invite/GH5kRgv6ZD
Open Model Engine (OME) — Kubernetes-Operator für das Bereitstellen von LLM-Diensten, die GPU-Planung und das Management des Modelllebenszyklus. Unterstützt SGLang, vLLM, TensorRT-LLM und Triton
Häufig gestellte Fragen
Welches ist das beliebteste #sglang-Repository auf GitHub?
Das am höchsten eingestufte Open-Source-#sglang-Projekt auf GitHub ist xorbitsai/inference mit 9,667 Sternen. Open-Source-Inferenzplattform für Sprach-, Vision-, Embedding-, Reranking-, Bild-, Audio- und Videomodelle. Stellen Sie mehrere Engines auf heterogener Hardware bereit – vom Laptop bis zum verteilten Cluster. Stellen Sie Modelle über OpenAI-kompatible APIs bereit.
Welche Programmiersprachen werden in #sglang-Repositories am häufigsten verwendet?
Unter den am höchsten eingestuften #sglang-Projekten auf GitHub sind Python, HTML, Rust, C++ die am häufigsten verwendeten Programmiersprachen.
Wie wird das Ranking der #sglang-Repositories berechnet?
Wir verfolgen 38 aktive Open-Source-Repositories, die mit #sglang getaggt sind (500+ Sterne), mit insgesamt 109,680 Sternen und durchschnittlich 2,886 Sternen pro Repository. Die Rankings werden täglich über die GitHub-API aktualisiert.