Git Stars Git Stars

#vllm Репозитории

133
Всего репозиториев
554,542
Всего звезд
4,169
Среднее количество звезд на репозиторий

Всего репозиториев: 134

101
ModelTC/LightCompress

[EMNLP 2024 & AAAI 2026] Мощный набор инструментов для сжатия больших моделей, включая LLM, VLM и модели генерации видео.

ModelTC
⭐ 755 Python 👤 ModelTC Organization 🕐 Обновлено 2026-05-14 📅 Создано 2024-03-06
102
pegainfer-project/pegainfer

Чистый движок вывода LLM на Rust + CUDA — без PyTorch, совместим с OpenAI, обслуживает от Qwen3 до Kimi-K2

pegainfer-project
⭐ 748 Rust 👤 pegainfer-project Organization 🕐 Обновлено 2026-11-21 📅 Создано 2026-02-17
103
smg-project/smg

Не зависящий от движка LLM-шлюз на Rust. Полная совместимость с API OpenAI и Anthropic для vLLM, TRT-LLM, TokenSpeed, SGLang, OpenAI, Gemini и других платформ. Первая в отрасли конвейерная система gRPC, маршрутизация с учетом KV-кэша, история чатов, кэширование токенизации, Responses API, эмбеддинги, плагины WASM, MCP и многоарендная аутентификация.

smg-project
⭐ 736 Rust 👤 smg-project Organization 🕐 Обновлено 2026-11-21 📅 Создано 2025-11-22
104
microsoft/vidur

Точный, крупномасштабный и расширяемый симулятор для систем вывода LLM

microsoft
⭐ 733 Python 👤 microsoft Organization 🕐 Обновлено 2026-08-24 📅 Создано 2023-11-02
106
SimonZeng7108/efficientsam3

EfficientSAM3 сжимает SAM3 в легковесные модели, дружелюбные к краю, с помощью прогрессивной дистилляции знаний для быстрой сегментации и отслеживания концепций по промптам.

SimonZeng7108
⭐ 713 Jupyter Notebook 👤 SimonZeng7108 User 🕐 Обновлено 2026-08-11 📅 Создано 2025-10-16
⭐ 703 Python 👤 stepfun-ai Organization 🕐 Обновлено 2026-04-29 📅 Создано 2025-11-11
108
ChenxinAn-fdu/POLARIS

Масштабирование RL на продвинутых моделях рассуждений

ChenxinAn-fdu
⭐ 697 Python 👤 ChenxinAn-fdu User 🕐 Обновлено 2025-10-20 📅 Создано 2025-06-18
109
IEIT-Yuan/Yuan-2.0

Yuan 2.0 Большая языковая модель

IEIT-Yuan
⭐ 689 Python 👤 IEIT-Yuan Organization 🕐 Обновлено 2024-07-11 📅 Создано 2023-11-26
110
mlabonne/llm-autoeval

Автоматически оценивайте свои LLM в Google Colab

mlabonne
⭐ 678 Python 👤 mlabonne User 🕐 Обновлено 2024-05-07 📅 Создано 2024-01-01
111
owenliang/qwen-vllm

Tongyi Qianwen VLLM Демонстрация развертывания инференса

owenliang
⭐ 637 Python 👤 owenliang User 🕐 Обновлено 2024-03-28 📅 Создано 2024-01-21
112
firstbatchxyz/mem-agent-mcp

mem-agent mcp server

firstbatchxyz
⭐ 628 Python 👤 firstbatchxyz Organization 🕐 Обновлено 2025-11-17 📅 Создано 2025-09-01
113
mlfoundations/evalchemy

Автоматические оценки для LLM

mlfoundations
⭐ 617 HTML 👤 mlfoundations Organization 🕐 Обновлено 2026-11-12 📅 Создано 2024-11-15
114
jaylfc/taOS

Самохостируемая ОС для ИИ-агентов. Ваша память, чаты, агенты и файлы остаются на вашем собственном оборудовании: по умолчанию офлайн, в облаке — по выбору. Включает офлайн-память ИИ (taOSmd), самохостируемый мультифреймворковый групповой чат, полноценный веб-рабочий стол + магазин приложений, а также автоматическую кластеризацию на уже имеющемся у вас потребительском оборудовании (Orange/Raspberry Pi, Mac mini, игровой ПК).

jaylfc
⭐ 609 Python 👤 jaylfc User 🕐 Обновлено 2026-11-20 📅 Создано 2026-04-05
115
HuiResearch/FlashTTS

Предоставляет высококачественные услуги по синтезу китайской речи и клонированию голоса на основе таких моделей, как SparkTTS, OrpheusTTS и др.

HuiResearch
⭐ 603 Python 👤 HuiResearch User 🕐 Обновлено 2025-05-18 📅 Создано 2025-03-13
116
MoonshotAI/K2-Vendor-Verifier

Проверить точность всех поставщиков API Kimi K2

MoonshotAI
⭐ 602 Python 👤 MoonshotAI Organization 🕐 Обновлено 2026-02-14 📅 Создано 2025-09-09
117
llmmanorg/llmman

Запускайте любого агента на любой модели; модели хранятся в виде OCI-образов

llmmanorg
⭐ 598 Rust 👤 llmmanorg Organization 🕐 Обновлено 2026-11-21 📅 Создано 2026-03-22
119
kacper-daftcode/vLLM-Moet

Передовые MoE-модели на RTX PRO 6000 / RTX 5090 (sm_120): DeepSeek-V4.1-Flash на 4 RTX PRO 6000, гибридная конфигурация GPU+CPU на 4 RTX 5090 и 2-битные эксперты в vLLM v0.24.0

kacper-daftcode
⭐ 580 Sass 👤 kacper-daftcode User 🕐 Обновлено 2026-11-18 📅 Создано 2026-06-15
120
raids-lab/crater

Crater — это облачная нативная платформа для обучения и вывода ИИ.

raids-lab
⭐ 578 Go 👤 raids-lab Organization 🕐 Обновлено 2026-11-20 📅 Создано 2025-06-08
⭐ 568 Python 👤 pipecat-ai Organization 🕐 Обновлено 2026-06-03 📅 Создано 2026-01-01
122
fufankeji/DeepSeek-OCR-Web

Web Studio для анализа документов DeepSeek OCR "из коробки"

fufankeji
⭐ 568 TypeScript 👤 fufankeji User 🕐 Обновлено 2025-10-27 📅 Создано 2025-10-23
123
spark-arena/sparkrun

sparkrun — запускайте, управляйте и останавливайте рабочие нагрузки вывода LLM на системах NVIDIA DGX Spark. Поддержка в реальном времени: https://discord.com/invite/GH5kRgv6ZD

spark-arena
⭐ 567 Python 👤 spark-arena Organization 🕐 Обновлено 2026-11-17 📅 Создано 2026-02-16
124
FlagOpen/RoboBrain

[CVPR 2025] RoboBrain: Единая модель мозга для роботизированного манипулирования от абстрактного к конкретному. Официальный репозиторий.

FlagOpen
⭐ 564 Python 👤 FlagOpen Organization 🕐 Обновлено 2025-10-13 📅 Создано 2025-03-27
125
llumnix-project/llumnix-ray

Эффективное и простое обслуживание LLM с несколькими экземплярами

llumnix-project
⭐ 561 Python 👤 llumnix-project Organization 🕐 Обновлено 2026-03-12 📅 Создано 2024-05-20
126
01-ai/Yi-1.5

Yi-1.5 — улучшенная версия Yi, обеспечивающая более высокую производительность в области программирования, математики, логических рассуждений и выполнения инструкций.

01-ai
⭐ 557 👤 01-ai Organization 🕐 Обновлено 2024-11-11 📅 Создано 2024-05-10
128
micytao/vllm-playground

Современный веб-интерфейс для управления и взаимодействия с серверами vLLM (www.github.com/vllm-project/vllm). Поддерживает режимы GPU и CPU, а также включает специальные оптимизации для macOS Apple Silicon и корпоративного развертывания в OpenShift/Kubernetes.

micytao
⭐ 548 JavaScript 👤 micytao User 🕐 Обновлено 2026-11-07 📅 Создано 2025-11-01
129
Yzw202011/OmniSpace

Локальная полнофункциональная творческая ИИ-станция: пять модулей — ИИ-диалоги, ИИ-комиксы, создание комикс-драм, рабочее пространство для письма и изучение знаний; локальный вывод с использованием нескольких движков (vLLM / llama.cpp / Transformers), интеллектуальное управление видеопамятью, изоляция по принципу bulkhead и самовосстановление. Только для учебных целей; будем рады обсуждению и замечаниям. (Из-за ограничений протокола последние изменения, за исключением системы плагинов, пока нельзя отправить в репозиторий.)

Yzw202011
⭐ 536 Python 👤 Yzw202011 User 🕐 Обновлено 2026-09-20 📅 Создано 2026-08-23
130
ome-projects/ome

Open Model Engine (OME) — оператор Kubernetes для предоставления LLM-сервисов, планирования использования GPU и управления жизненным циклом моделей. Поддерживает SGLang, vLLM, TensorRT-LLM и Triton

ome-projects
⭐ 529 Go 👤 ome-projects Organization 🕐 Обновлено 2026-11-21 📅 Создано 2025-05-19
131
huawei-csl/KVarN

KVarN — это нативный бэкенд vLLM для квантования KV-кэша ваших агентов: в 3–5 раз больше контекста, пропускная способность выше FP16 и точность на уровне FP16. Без калибровки — всего один флаг.

huawei-csl
⭐ 521 Python 👤 huawei-csl Organization 🕐 Обновлено 2026-06-22 📅 Создано 2026-05-29
132
adventists-ai/sophon-realtime

Открытые полнодуплексные голосовые модели, которые распознают вашу интонацию и говорят со своей собственной. Одна GPU с vLLM-Omni или полностью автономная работа на Mac с MLX. Клонирование голоса без примеров, совместимость с OpenAI Realtime / GPT-Live и бесплатный пробный доступ к размещённому API. Apache-2.0.

adventists-ai
⭐ 510 Python 👤 adventists-ai Organization 🕐 Обновлено 2026-11-20 📅 Создано 2026-11-04
133
Chen-zexi/vllm-cli

Инструмент командной строки для запуска LLM с использованием vLLM.

Chen-zexi
⭐ 507 Python 👤 Chen-zexi User 🕐 Обновлено 2026-01-25 📅 Создано 2025-08-14
134
AEON-7/Qwen3.6-27B-AEON-Ultimate-Uncensored-DFlash

Полностью нецензурированная версия Qwen3.6-27B с расширенными возможностями, полученная методом abliteration. Спекулятивное декодирование NVFP4 + z-lab DFlash (n=12) в унифицированном контейнере ghcr.io/aeon-7/aeon-vllm-ultimate:latest, настроенное на высокую приемку черновиков при длинном контексте на DGX Spark. 6 вариантов HF (BF16/NVFP4/MTP/MTP-XS), docker-compose и QuickStart.

AEON-7
⭐ 501 Python 👤 AEON-7 User 🕐 Обновлено 2026-11-13 📅 Создано 2026-04-25