#sglang Dépôts
Découvrez 38 dépôts GitHub open source actifs associés à #sglang, cumulant 109,680 étoiles au total (soit une moyenne de 2,886 étoiles par projet). Le projet en tête de ce thème est xorbitsai/inference, avec 9,667 étoiles.
38 dépôts au total
Plateforme d’inférence open source pour les modèles de langage, de vision, d’embeddings, de reclassement, d’image, d’audio et de vidéo. Déployez plusieurs moteurs sur du matériel hétérogène, d’un ordinateur portable à un cluster distribué. Servez des modèles via des API compatibles avec OpenAI.
slime est un framework d’entraînement de LLM conçu pour la mise à l’échelle de l’apprentissage par renforcement.
Mooncake est la plateforme de service pour Kimi, un service LLM leader fourni par Moonshot AI.
Un gestionnaire de cluster GPU pour le service de modèles d'IA haute performance (vLLM, SGLang) et des instances GPU accessibles par SSH à la demande.
Partage de connaissances AI Infra et pratique de code : PyTorch, vLLM/SGLang, introduction au framework slime/vime ⚡️, accélération des performances 🚀, bases des grands modèles 🧠, logiciels et matériels IA 🔧, etc.
Fondamentaux de l'IA - architecture GPU, programmation CUDA, bases des grands modèles et connaissances liées aux agents IA.
Miles est un framework d'apprentissage par renforcement orienté entreprise pour le post-entraînement de LLM et VLM, dérivé de et co-évoluant avec slime.
Une bibliothèque pour le raisonnement avancé des grands modèles linguistiques
Cours officiel SGLang x Datawhale sur l’inférence des LLM : comprenez l’inférence, construisez un mini-SGLang depuis zéro, puis lisez le véritable code source de SGLang et soumettez votre première PR. Disponible en anglais et en chinois.
Environnement d’exécution hautes performances pour le service de systèmes de superintelligence interactifs
Efficacité de la quantification après entraînement, précision de la quantification avec entraînement conscient
Un modèle multilingue pour la synthèse de dialogues longs à plusieurs locuteurs, avec un contrôle flexible des locuteurs et un clonage vocal sans apprentissage spécifique
MiMo-V2-Flash : Raisonnement, codage et modèle fondamental agentique efficaces
Boîte à outils de quantification (compression) de modèles LLM, avec prise en charge de l’accélération matérielle pour Nvidia CUDA, AMD ROCm, Intel XPU, Tenstorrent, les NPU Huawei Ascend et les processeurs Intel/AMD/Apple via HF, vLLM et SGLang.
Entraînez des modèles de décodage spéculatif sans effort et portez-les en douceur vers le service SGLang.
Une feuille de route sur 10 semaines, à raison de 30 minutes par jour, pour le déploiement et l’optimisation de l’inférence des LLM. vLLM, SGLang, quantification, décodage spéculatif et évaluation comparative.
Un modèle de fondation qui génère des vidéos et de l’audio synchronisés au sein d’un seul modèle
UniRL est un cadre pour l'apprentissage par renforcement de modèles multimodaux unifiés
Checkpoint-engine est un middleware simple pour mettre à jour les poids du modèle dans les moteurs d'inférence LLM
Un CLI pour estimer les exigences en mémoire d'inférence des modèles Hugging Face, écrit en Python.
Série de modèles ouverts Spark-x2.6. Repousser les limites des capacités agentiques des modèles embarqués
Passerelle LLM indépendante du moteur, développée en Rust. Compatibilité complète avec les API d’OpenAI et d’Anthropic pour vLLM, TRT-LLM, TokenSpeed, SGLang, OpenAI, Gemini et bien plus. Pipeline gRPC inédit dans le secteur, routage tenant compte du cache KV, historique des conversations, mise en cache de la tokenisation, Responses API, embeddings, plugins WASM, MCP et authentification multi-tenant.
Fournit des services de synthèse vocale chinoise et de clonage vocal de haute qualité basés sur des modèles tels que SparkTTS, OrpheusTTS, etc.
sparkrun — lancez, gérez et arrêtez des charges de travail d’inférence de LLM sur les systèmes NVIDIA DGX Spark. Assistance en direct : https://discord.com/invite/GH5kRgv6ZD
Open Model Engine (OME) — opérateur Kubernetes pour le déploiement de services de LLM, l’ordonnancement des GPU et la gestion du cycle de vie des modèles. Compatible avec SGLang, vLLM, TensorRT-LLM et Triton
Foire aux questions
Quel est le dépôt #sglang le plus populaire sur GitHub ?
Le projet #sglang open source le mieux classé sur GitHub est xorbitsai/inference, avec 9,667 étoiles. Plateforme d’inférence open source pour les modèles de langage, de vision, d’embeddings, de reclassement, d’image, d’audio et de vidéo. Déployez plusieurs moteurs sur du matériel hétérogène, d’un ordinateur portable à un cluster distribué. Servez des modèles via des API compatibles avec OpenAI.
Quels langages de programmation sont les plus utilisés dans les dépôts #sglang ?
Parmi les projets #sglang les mieux classés sur GitHub, les langages de programmation les plus courants sont Python, HTML, Rust, C++.
Comment le classement des dépôts #sglang est-il calculé ?
Nous suivons 38 dépôts open source actifs associés à #sglang (500+ étoiles), totalisant 109,680 étoiles, avec une moyenne de 2,886 étoiles par dépôt. Les classements sont mis à jour quotidiennement à partir de l’API GitHub.