#sglang Репозитории
Откройте для себя 38 активных репозиториев с открытым исходным кодом на GitHub, отмеченных тегом #sglang, с общим числом 109,680 звёзд (в среднем 2,886 на проект). Лидером этой темы является xorbitsai/inference, набравший 9,667 звёзд.
Всего репозиториев: 38
Открытая платформа для инференса языковых, визуальных, эмбеддинговых моделей, моделей переранжирования, изображений, аудио и видео. Развертывайте несколько движков на разнородном оборудовании — от ноутбука до распределенного кластера. Предоставляйте модели через API, совместимые с OpenAI.
slime — это фреймворк для обучения LLM, предназначенный для масштабирования обучения с подкреплением.
Mooncake — это платформа обслуживания для Kimi, ведущего LLM-сервиса, предоставляемого Moonshot AI.
Менеджер GPU-кластеров для высокопроизводительного обслуживания моделей ИИ (vLLM, SGLang) и предоставления GPU-инстансов по запросу с доступом по SSH.
Обмен знаниями об AI Infra и практика кода: PyTorch, vLLM/SGLang, введение в фреймворк slime/vime ⚡️, ускорение производительности 🚀, основы больших моделей 🧠, программное и аппаратное обеспечение ИИ 🔧 и т.д.
Основы ИИ — архитектура GPU, программирование на CUDA, основы больших языковых моделей и знания об ИИ-агентах.
Miles – это корпоративно ориентированная система обучения с подкреплением для пост‑тренировки LLM и VLM, форк, созданный и совместно развиваемый со slime.
Официальный курс SGLang x Datawhale по инференсу LLM: разберитесь в инференсе, создайте мини-SGLang с нуля, затем изучите настоящий исходный код SGLang и отправьте свой первый PR. Доступен на английском и китайском языках.
Виртуализированный эластичный KV-кэш для динамического совместного использования GPU и не только
Высокопроизводительная среда выполнения для обслуживания интерактивных систем сверхинтеллекта
Эффективность на уровне посттренировочной квантования, точность на уровне квантования с учетом обучения
Многоязычная модель для синтеза длинноформатных диалогов с несколькими говорящими, гибким управлением говорящими и клонированием голоса в режиме zero-shot
MiMo-V2-Flash: Эффективное рассуждение, кодирование и агентная базовая модель
Инструментарий для квантования (сжатия) моделей LLM с поддержкой аппаратного ускорения для Nvidia CUDA, AMD ROCm, Intel XPU, Tenstorrent, NPU Huawei Ascend и процессоров Intel/AMD/Apple через HF, vLLM и SGLang.
Легко обучайте модели спекулятивного декодирования и плавно портируйте их на SGLang для обслуживания.
10-недельная дорожная карта по обслуживанию и оптимизации инференса LLM — по 30 минут в день. vLLM, SGLang, квантизация, спекулятивное декодирование, бенчмаркинг.
Базовая модель, которая генерирует синхронизированные видео и аудио в рамках одной модели
UniRL — это фреймворк для обучения с подкреплением унифицированных мультимодальных моделей
Checkpoint-engine — это простой промежуточный слой для обновления весов модели в механизмах вывода LLM
CLI-инструмент для оценки требований к памяти инференса для моделей Hugging Face, написанный на Python.
Серия открытых моделей Spark-x2.6. Расширяя границы агентных возможностей моделей на устройстве
Не зависящий от движка LLM-шлюз на Rust. Полная совместимость с API OpenAI и Anthropic для vLLM, TRT-LLM, TokenSpeed, SGLang, OpenAI, Gemini и других платформ. Первая в отрасли конвейерная система gRPC, маршрутизация с учетом KV-кэша, история чатов, кэширование токенизации, Responses API, эмбеддинги, плагины WASM, MCP и многоарендная аутентификация.
Предоставляет высококачественные услуги по синтезу китайской речи и клонированию голоса на основе таких моделей, как SparkTTS, OrpheusTTS и др.
sparkrun — запускайте, управляйте и останавливайте рабочие нагрузки вывода LLM на системах NVIDIA DGX Spark. Поддержка в реальном времени: https://discord.com/invite/GH5kRgv6ZD
Open Model Engine (OME) — оператор Kubernetes для предоставления LLM-сервисов, планирования использования GPU и управления жизненным циклом моделей. Поддерживает SGLang, vLLM, TensorRT-LLM и Triton
Часто задаваемые вопросы
Какой репозиторий по теме #sglang наиболее популярен на GitHub?
Самый высоко оценённый проект с открытым исходным кодом по теме #sglang на GitHub — xorbitsai/inference, набравший 9,667 звёзд. Открытая платформа для инференса языковых, визуальных, эмбеддинговых моделей, моделей переранжирования, изображений, аудио и видео. Развертывайте несколько движков на разнородном оборудовании — от ноутбука до распределенного кластера. Предоставляйте модели через API, совместимые с OpenAI.
Какие языки программирования чаще всего используются в репозиториях по теме #sglang?
Среди наиболее высоко оценённых проектов по теме #sglang на GitHub чаще всего используются языки программирования Python, HTML, Rust, C++.
Как рассчитывается рейтинг репозиториев по теме #sglang?
Мы отслеживаем 38 активных репозиториев с открытым исходным кодом, отмеченных тегом #sglang (500 и более звёзд), с общим числом 109,680 звёзд и в среднем 2,886 звёзд на репозиторий. Рейтинги обновляются ежедневно на основе данных GitHub API.