#vllm Репозитории
Всего репозиториев: 134
[EMNLP 2024 & AAAI 2026] Мощный набор инструментов для сжатия больших моделей, включая LLM, VLM и модели генерации видео.
Чистый движок вывода LLM на Rust + CUDA — без PyTorch, совместим с OpenAI, обслуживает от Qwen3 до Kimi-K2
Не зависящий от движка LLM-шлюз на Rust. Полная совместимость с API OpenAI и Anthropic для vLLM, TRT-LLM, TokenSpeed, SGLang, OpenAI, Gemini и других платформ. Первая в отрасли конвейерная система gRPC, маршрутизация с учетом KV-кэша, история чатов, кэширование токенизации, Responses API, эмбеддинги, плагины WASM, MCP и многоарендная аутентификация.
EfficientSAM3 сжимает SAM3 в легковесные модели, дружелюбные к краю, с помощью прогрессивной дистилляции знаний для быстрой сегментации и отслеживания концепций по промптам.
Самохостируемая ОС для ИИ-агентов. Ваша память, чаты, агенты и файлы остаются на вашем собственном оборудовании: по умолчанию офлайн, в облаке — по выбору. Включает офлайн-память ИИ (taOSmd), самохостируемый мультифреймворковый групповой чат, полноценный веб-рабочий стол + магазин приложений, а также автоматическую кластеризацию на уже имеющемся у вас потребительском оборудовании (Orange/Raspberry Pi, Mac mini, игровой ПК).
Предоставляет высококачественные услуги по синтезу китайской речи и клонированию голоса на основе таких моделей, как SparkTTS, OrpheusTTS и др.
Передовые MoE-модели на RTX PRO 6000 / RTX 5090 (sm_120): DeepSeek-V4.1-Flash на 4 RTX PRO 6000, гибридная конфигурация GPU+CPU на 4 RTX 5090 и 2-битные эксперты в vLLM v0.24.0
sparkrun — запускайте, управляйте и останавливайте рабочие нагрузки вывода LLM на системах NVIDIA DGX Spark. Поддержка в реальном времени: https://discord.com/invite/GH5kRgv6ZD
[CVPR 2025] RoboBrain: Единая модель мозга для роботизированного манипулирования от абстрактного к конкретному. Официальный репозиторий.
Yi-1.5 — улучшенная версия Yi, обеспечивающая более высокую производительность в области программирования, математики, логических рассуждений и выполнения инструкций.
Современный веб-интерфейс для управления и взаимодействия с серверами vLLM (www.github.com/vllm-project/vllm). Поддерживает режимы GPU и CPU, а также включает специальные оптимизации для macOS Apple Silicon и корпоративного развертывания в OpenShift/Kubernetes.
Локальная полнофункциональная творческая ИИ-станция: пять модулей — ИИ-диалоги, ИИ-комиксы, создание комикс-драм, рабочее пространство для письма и изучение знаний; локальный вывод с использованием нескольких движков (vLLM / llama.cpp / Transformers), интеллектуальное управление видеопамятью, изоляция по принципу bulkhead и самовосстановление. Только для учебных целей; будем рады обсуждению и замечаниям. (Из-за ограничений протокола последние изменения, за исключением системы плагинов, пока нельзя отправить в репозиторий.)
Open Model Engine (OME) — оператор Kubernetes для предоставления LLM-сервисов, планирования использования GPU и управления жизненным циклом моделей. Поддерживает SGLang, vLLM, TensorRT-LLM и Triton
KVarN — это нативный бэкенд vLLM для квантования KV-кэша ваших агентов: в 3–5 раз больше контекста, пропускная способность выше FP16 и точность на уровне FP16. Без калибровки — всего один флаг.
Открытые полнодуплексные голосовые модели, которые распознают вашу интонацию и говорят со своей собственной. Одна GPU с vLLM-Omni или полностью автономная работа на Mac с MLX. Клонирование голоса без примеров, совместимость с OpenAI Realtime / GPT-Live и бесплатный пробный доступ к размещённому API. Apache-2.0.
Полностью нецензурированная версия Qwen3.6-27B с расширенными возможностями, полученная методом abliteration. Спекулятивное декодирование NVFP4 + z-lab DFlash (n=12) в унифицированном контейнере ghcr.io/aeon-7/aeon-vllm-ultimate:latest, настроенное на высокую приемку черновиков при длинном контексте на DGX Spark. 6 вариантов HF (BF16/NVFP4/MTP/MTP-XS), docker-compose и QuickStart.