#sglang Repositórios
Descubra 38 repositórios ativos de código aberto no GitHub marcados com #sglang, acumulando um total de 109,680 estrelas (uma média de 2,886 por projeto). O líder deste tópico é xorbitsai/inference, com 9,667 estrelas.
38 repositórios no total
Plataforma de inferência de código aberto para modelos de linguagem, visão, embeddings, reranking, imagem, áudio e vídeo. Implante vários mecanismos em hardware heterogêneo, de um laptop a um cluster distribuído. Disponibilize modelos por meio de APIs compatíveis com a OpenAI.
Mooncake é a plataforma de serviço para Kimi, um serviço de LLM líder fornecido pela Moonshot AI.
Um gerenciador de cluster de GPU para serviço de modelos de IA de alto desempenho (vLLM, SGLang) e instâncias de GPU sob demanda acessíveis via SSH.
Compartilhamento de conhecimento de AI Infra e prática de código: PyTorch, vLLM/SGLang, introdução ao framework slime/vime ⚡️, aceleração de desempenho 🚀, fundamentos de modelos grandes 🧠, software e hardware de IA 🔧, etc.
Fundamentos de IA - arquitetura de GPU, programação CUDA, noções básicas de grandes modelos e conhecimentos relacionados a agentes de IA.
Miles é um framework de aprendizado por reforço voltado para empresas para o pós-treinamento de LLM e VLM, derivado e co-evoluindo com slime.
Uma biblioteca para raciocínio avançado de grandes modelos de linguagem
Curso oficial da SGLang x Datawhale sobre inferência de LLM: entenda a inferência, construa um mini-SGLang do zero, depois leia o código-fonte real do SGLang e faça seu primeiro PR. Disponível em inglês e chinês.
Ambiente de execução de alto desempenho para servir sistemas de superinteligência interativos
Eficiência da quantização pós-treinamento, precisão da quantização com treinamento consciente
Um modelo multilíngue para a síntese de diálogos longos com múltiplos falantes, com controle flexível dos falantes e clonagem de voz zero-shot
MiMo-V2-Flash: Raciocínio, Codificação e Modelo Fundamental Agêntico Eficiente
Kit de ferramentas para quantização (compressão) de modelos LLM, com suporte à aceleração por hardware para Nvidia CUDA, AMD ROCm, Intel XPU, Tenstorrent, NPU Huawei Ascend e CPUs Intel/AMD/Apple via HF, vLLM e SGLang.
Treine modelos de decodificação especulativa sem esforço e porte-os suavemente para o serviço SGLang.
Um roteiro de 10 semanas, com 30 minutos por dia, para servir e otimizar a inferência de LLMs. vLLM, SGLang, quantização, decodificação especulativa e benchmarking.
UniRL é uma estrutura para aprendizado por reforço de modelos multimodais unificados
Checkpoint-engine é um middleware simples para atualizar os pesos do modelo em mecanismos de inferência de LLMs
Um CLI para estimar os requisitos de memória de inferência para modelos Hugging Face, escrito em Python.
Série de modelos abertos Spark-x2.6. Expandindo os limites das capacidades agênticas dos modelos no dispositivo
Gateway de LLM independente do mecanismo, desenvolvido em Rust. Compatibilidade total com as APIs da OpenAI e da Anthropic para vLLM, TRT-LLM, TokenSpeed, SGLang, OpenAI, Gemini e muito mais. Pipeline gRPC pioneiro no setor, roteamento ciente do cache KV, histórico de conversas, cache de tokenização, Responses API, embeddings, plugins WASM, MCP e autenticação multi-tenant.
Com base em modelos como SparkTTS e OrpheusTTS, fornecemos serviços de síntese de fala chinesa de alta qualidade e clonagem de voz.
sparkrun — inicie, gerencie e interrompa cargas de trabalho de inferência de LLM em sistemas NVIDIA DGX Spark. Suporte ao vivo: https://discord.com/invite/GH5kRgv6ZD
Open Model Engine (OME) — operador Kubernetes para serving de LLMs, agendamento de GPUs e gerenciamento do ciclo de vida dos modelos. Compatível com SGLang, vLLM, TensorRT-LLM e Triton
Perguntas Frequentes
Qual é o repositório de #sglang mais popular no GitHub?
O projeto de código aberto de #sglang mais bem classificado no GitHub é xorbitsai/inference, com 9,667 estrelas. Plataforma de inferência de código aberto para modelos de linguagem, visão, embeddings, reranking, imagem, áudio e vídeo. Implante vários mecanismos em hardware heterogêneo, de um laptop a um cluster distribuído. Disponibilize modelos por meio de APIs compatíveis com a OpenAI.
Quais linguagens de programação são mais usadas nos repositórios de #sglang?
Entre os projetos de #sglang mais bem classificados no GitHub, as linguagens de programação mais comuns são Python, HTML, Rust, C++.
Como é calculada a classificação dos repositórios de #sglang?
Acompanhamos 38 repositórios ativos de código aberto marcados com #sglang (com mais de 500 estrelas), totalizando 109,680 estrelas e uma média de 2,886 estrelas por repositório. As classificações são atualizadas diariamente a partir da API do GitHub.