#sglang Repository
Scopri 38 repository GitHub open source attivi contrassegnati con #sglang, che raccolgono un totale di 109,680 stelle (con una media di 2,886 stelle per progetto). Il progetto leader di questo argomento è xorbitsai/inference, con 9,667 stelle.
38 repository in totale
Piattaforma open source per l’inferenza di modelli linguistici, visivi, di embedding, reranking, immagini, audio e video. Distribuisci più motori su hardware eterogeneo, da un laptop a un cluster distribuito. Fornisci modelli tramite API compatibili con OpenAI.
slime è un framework per l’addestramento di LLM pensato per scalare l’apprendimento per rinforzo.
Mooncake è la piattaforma di serving per Kimi, un servizio LLM leader fornito da Moonshot AI.
Un gestore di cluster GPU per il serving di modelli AI ad alte prestazioni (vLLM, SGLang) e istanze GPU on-demand accessibili via SSH.
Condivisione di conoscenze AI Infra e pratica di codice: PyTorch, vLLM/SGLang, introduzione al framework slime/vime ⚡️, accelerazione delle prestazioni 🚀, basi dei modelli grandi 🧠, software e hardware AI 🔧, ecc.
Fondamenti di IA - architettura GPU, programmazione CUDA, basi dei grandi modelli e conoscenze relative agli agenti IA.
Miles è un framework di reinforcement learning orientato alle imprese per la post-allenamento di LLM e VLM, derivato da e co-evolvendosi con slime.
Una libreria per il ragionamento avanzato di modelli linguistici di grandi dimensioni
Corso ufficiale SGLang x Datawhale sull’inferenza degli LLM: comprendi l’inferenza, costruisci un mini-SGLang da zero, poi leggi il vero codice sorgente di SGLang e invia la tua prima PR. Disponibile in inglese e cinese.
Cache KV elastica virtualizzata per la condivisione dinamica della GPU e oltre
Runtime ad alte prestazioni per l’erogazione di sistemi di superintelligenza interattivi
Efficienza della quantizzazione post-training, accuratezza della quantizzazione con addestramento consapevole
Un modello multilingue per la sintesi di dialoghi a più parlanti e di lunga durata, con controllo flessibile dei parlanti e clonazione vocale zero-shot
MiMo-V2-Flash: Ragionamento efficiente, codifica e modello di base agentico
Toolkit per la quantizzazione (compressione) di modelli LLM, con supporto all’accelerazione hardware per Nvidia CUDA, AMD ROCm, Intel XPU, Tenstorrent, NPU Huawei Ascend e CPU Intel/AMD/Apple tramite HF, vLLM e SGLang.
Addestra modelli di decodifica speculativa senza sforzo e portali agevolmente sul servizio SGLang.
Una roadmap di 10 settimane, dedicando 30 minuti al giorno, per il serving e l’ottimizzazione dell’inferenza degli LLM. vLLM, SGLang, quantizzazione, decodifica speculativa e benchmarking.
UniRL è un framework per l'apprendimento per rinforzo di modelli multimodali unificati
Checkpoint-engine è un semplice middleware per aggiornare i pesi del modello nei motori di inferenza LLM
Un CLI per stimare i requisiti di memoria di inferenza per i modelli Hugging Face, scritto in Python.
Serie di modelli open Spark-x2.6. Spingere oltre i limiti delle capacità agentiche dei modelli on-device
Gateway LLM indipendente dal motore, sviluppato in Rust. Compatibilità completa con le API di OpenAI e Anthropic su vLLM, TRT-LLM, TokenSpeed, SGLang, OpenAI, Gemini e altro ancora. Pipeline gRPC prima nel settore, routing consapevole della cache KV, cronologia delle chat, caching della tokenizzazione, Responses API, embedding, plugin WASM, MCP e autenticazione multi-tenant.
Fornisce sintesi vocale cinese di alta qualità e clonazione vocale basata su modelli come SparkTTS, OrpheusTTS, ecc.
sparkrun: avvia, gestisci e arresta i carichi di lavoro di inferenza LLM sui sistemi NVIDIA DGX Spark. Supporto in tempo reale: https://discord.com/invite/GH5kRgv6ZD
Open Model Engine (OME) — operatore Kubernetes per il serving degli LLM, la pianificazione delle GPU e la gestione del ciclo di vita dei modelli. Compatibile con SGLang, vLLM, TensorRT-LLM e Triton
Domande frequenti
Qual è il repository #sglang più popolare su GitHub?
Il progetto open source #sglang più alto in classifica su GitHub è xorbitsai/inference, con 9,667 stelle. Piattaforma open source per l’inferenza di modelli linguistici, visivi, di embedding, reranking, immagini, audio e video. Distribuisci più motori su hardware eterogeneo, da un laptop a un cluster distribuito. Fornisci modelli tramite API compatibili con OpenAI.
Quali linguaggi di programmazione sono più utilizzati nei repository #sglang?
Tra i progetti #sglang più alti in classifica su GitHub, i linguaggi di programmazione più comuni sono Python, HTML, Rust, C++.
Come viene calcolata la classifica dei repository #sglang?
Monitoriamo 38 repository open source attivi contrassegnati con #sglang (500+ stelle), per un totale di 109,680 stelle e una media di 2,886 stelle per repository. Le classifiche vengono aggiornate quotidianamente tramite l’API di GitHub.