#sglang Repositorios
Descubre 38 repositorios activos de código abierto de GitHub etiquetados con #sglang, que acumulan 109,680 estrellas en total (una media de 2,886 estrellas por proyecto). El líder de este tema es xorbitsai/inference, con 9,667 estrellas.
38 repositorios en total
Plataforma de inferencia de código abierto para modelos de lenguaje, visión, embeddings, reranking, imágenes, audio y vídeo. Despliega con varios motores en hardware heterogéneo, desde un portátil hasta un clúster distribuido. Ofrece modelos a través de API compatibles con OpenAI.
Mooncake es la plataforma de servicio para Kimi, un servicio líder de LLM proporcionado por Moonshot AI.
Un gestor de clústeres de GPU para el servicio de modelos de IA de alto rendimiento (vLLM, SGLang) e instancias de GPU bajo demanda accesibles mediante SSH.
Compartir conocimientos de AI Infra y práctica de código: PyTorch, vLLM/SGLang, introducción al marco slime/vime ⚡️, aceleración de rendimiento 🚀, fundamentos de modelos grandes 🧠, software y hardware de IA 🔧, etc.
Fundamentos de IA: arquitectura de GPU, programación CUDA, conceptos básicos de grandes modelos y conocimientos relacionados con agentes de IA.
Miles es un marco de aprendizaje por refuerzo orientado a empresas para el post-entrenamiento de LLM y VLM, derivado de y co-evolucionando con slime.
Una biblioteca para el razonamiento avanzado de modelos de lenguaje grandes
Curso oficial de SGLang x Datawhale sobre inferencia de LLM: comprende la inferencia, construye un mini-SGLang desde cero, luego lee el código fuente real de SGLang y consigue tu primer PR. Disponible en inglés y chino.
Caché KV elástico virtualizado para el uso compartido dinámico de GPU y más allá
Entorno de ejecución de alto rendimiento para servir sistemas de superinteligencia interactivos
Eficiencia de la cuantización posterior al entrenamiento, precisión de la cuantización con entrenamiento consciente
Un modelo multilingüe para la síntesis de diálogos extensos y con múltiples hablantes, con control flexible de los hablantes y clonación de voz de cero disparos
MiMo-V2-Flash: Razonamiento, codificación y modelo fundacional agentico eficiente
Kit de herramientas para la cuantización (compresión) de modelos LLM, con aceleración por hardware para Nvidia CUDA, AMD ROCm, Intel XPU, Tenstorrent, NPU Huawei Ascend y CPU Intel/AMD/Apple mediante HF, vLLM y SGLang.
Entrena modelos de decodificación especulativa sin esfuerzo y portálos sin problemas al servicio SGLang.
Una hoja de ruta de 10 semanas, dedicando 30 minutos al día, para el servicio y la optimización de inferencia de LLM. vLLM, SGLang, cuantización, decodificación especulativa y evaluación comparativa.
UniRL es un marco de trabajo para el aprendizaje por refuerzo de modelos multimodales unificados
Checkpoint-engine es un middleware simple para actualizar los pesos del modelo en los motores de inferencia de LLM
Una CLI para estimar los requisitos de memoria de inferencia para modelos de Hugging Face, escrita en Python.
Serie de modelos abiertos Spark-x2.6. Ampliando los límites de las capacidades agénticas en los modelos en dispositivo
Gateway de LLM agnóstico del motor, desarrollado en Rust. Compatibilidad total con las API de OpenAI y Anthropic para vLLM, TRT-LLM, TokenSpeed, SGLang, OpenAI, Gemini y más. Canalización gRPC pionera en la industria, enrutamiento consciente de la caché KV, historial de chat, almacenamiento en caché de la tokenización, Responses API, embeddings, plugins WASM, MCP y autenticación multiinquilino.
Proporciona servicios de síntesis de voz y clonación de voz de alta calidad en chino, basados en modelos como SparkTTS, OrpheusTTS, etc.
sparkrun: inicia, gestiona y detén cargas de trabajo de inferencia de LLM en sistemas NVIDIA DGX Spark. Soporte en vivo: https://discord.com/invite/GH5kRgv6ZD
Open Model Engine (OME): operador de Kubernetes para la prestación de servicios de LLM, la programación de GPU y la gestión del ciclo de vida de los modelos. Compatible con SGLang, vLLM, TensorRT-LLM y Triton
Preguntas frecuentes
¿Cuál es el repositorio de #sglang más popular en GitHub?
El proyecto de código abierto de #sglang mejor posicionado en GitHub es xorbitsai/inference, con 9,667 estrellas. Plataforma de inferencia de código abierto para modelos de lenguaje, visión, embeddings, reranking, imágenes, audio y vídeo. Despliega con varios motores en hardware heterogéneo, desde un portátil hasta un clúster distribuido. Ofrece modelos a través de API compatibles con OpenAI.
¿Qué lenguajes de programación se utilizan más en los repositorios de #sglang?
Entre los proyectos de #sglang mejor posicionados en GitHub, los lenguajes de programación más comunes son Python, HTML, Rust, C++.
¿Cómo se calcula la clasificación de los repositorios de #sglang?
Seguimos 38 repositorios activos de código abierto etiquetados con #sglang (500+ estrellas), que suman un total de 109,680 estrellas, con una media de 2,886 estrellas por repositorio. Las clasificaciones se actualizan diariamente a partir de la API de GitHub.