#vllm Репозитории
Откройте для себя 133 активных репозиториев с открытым исходным кодом на GitHub, отмеченных тегом #vllm, с общим числом 554,542 звёзд (в среднем 4,169 на проект). Лидером этой темы является earendil-works/pi, набравший 123,140 звёзд.
Всего репозиториев: 134
Набор инструментов для ИИ-агентов: унифицированный API LLM, цикл агента, TUI, CLI для агента кодирования
Набор инструментов с открытым исходным кодом для распознавания речи, предназначенный для обучения, вывода, потокового ASR, VAD, пунктуации, конвейеров диаризации дикторов и обслуживания, совместимого с OpenAI/MCP.
Добро пожаловать в «Кулинарную книгу Llama»! Это ваше руководство по созданию с помощью Llama: начало работы с инференсом, дообучением, RAG. Мы также покажем вам, как решать комплексные проблемы, используя семейство моделей Llama и применяя их в различных сервисах поставщиков.
Решение для запуска Android в Docker с поддержкой noVNC, записи видео, MCP-сервера и ИИ-агента
Всеобъемлющая библиотека с открытым исходным кодом навыков исследований и инженерии ИИ для любой модели ИИ. Упакуйте эти навыки, и ваш агент claude code/codex/gemini станет исследовательским ИИ-агентом с полной мощностью. Поддерживается Orchestra Research.
✍🏻 Глубокое погружение в исходный код, проектирование систем и инженерные блоги | Halfrost-Field: Заметки по анализу исходного кода, проектированию систем и инженерной практике
OCR-модель, обрабатывающая сложные таблицы, формы и рукописный ввод с полным сохранением макета.
Простой в использовании, масштабируемый и высокопроизводительный фреймворк для агентного RL на базе Ray (PPO & DAPO & REINFORCE++ & VLM & TIS & vLLM & Ray & Async RL)
Открытая платформа для инференса языковых, визуальных, эмбеддинговых моделей, моделей переранжирования, изображений, аудио и видео. Развертывайте несколько движков на разнородном оборудовании — от ноутбука до распределенного кластера. Предоставляйте модели через API, совместимые с OpenAI.
Mooncake — это платформа обслуживания для Kimi, ведущего LLM-сервиса, предоставляемого Moonshot AI.
Открытый программируемый слой принятия решений для моделей и вычислений.
Стандартизированная распределенная платформа для генеративного и предиктивного вывода ИИ для масштабируемого развертывания с несколькими фреймворками на Kubernetes
Менеджер GPU-кластеров для высокопроизводительного обслуживания моделей ИИ (vLLM, SGLang) и предоставления GPU-инстансов по запросу с доступом по SSH.
Изучите системы инференса LLM на Apple Silicon для системных инженеров: создайте небольшой vLLM + Qwen
Search-R1: Эффективная, масштабируемая структура обучения RL для рассуждений и вызовов поисковых систем с использованием LLM, основанных на veRL
📚Подборка отличных статей об инференсе LLM/VLM с кодами: Flash-Attention, Paged-Attention, WINT8/4, Parallelism и т.д.🎉
Извлечение структурированных данных, вызов инструкций и агентные рабочие процессы с использованием ML, LLM и Vision LLM
Обмен знаниями об AI Infra и практика кода: PyTorch, vLLM/SGLang, введение в фреймворк slime/vime ⚡️, ускорение производительности 🚀, основы больших моделей 🧠, программное и аппаратное обеспечение ИИ 🔧 и т.д.
[NeurIPS'24] HippoRAG — это новая RAG-структура, вдохновленная человеческой долговременной памятью, которая позволяет LLM непрерывно интегрировать знания из внешних документов. RAG + Графы знаний + Personalized PageRank.
Каскадный runtime для ИИ-агентов. Оптимизируйте затраты, задержку, качество и решения по политикам внутри цикла агента.
Высокопроизводительный набор инструментов для инференса и развертывания LLM и VLM на базе PaddlePaddle
Основы ИИ — архитектура GPU, программирование на CUDA, основы больших языковых моделей и знания об ИИ-агентах.
RamaLama — это инструмент разработчика с открытым исходным кодом, который упрощает локальное развертывание моделей ИИ из любого источника и облегчает их использование для инференса в производственной среде, используя привычный язык контейнеров.
Быстро обслуживайте большие модели Qwen на тех GPU, которыми вы действительно располагаете. Qwen3.8-27B на одной карте объёмом 24 ГБ с vLLM: 127 ток/с для одного пользователя (381, когда ответ цитирует промпт), около 1 035 ток/с при 64 одновременных запросах, контекст 150k–262k. Патчи для vLLM, конвейер повторной квантизации и бенчмарки.
Референтная система vLLM для нативной для K8S кластерной развертки с оптимизацией производительности под руководством сообщества
CodeGeeX4-ALL-9B — универсальная модель для всех сценариев разработки программного обеспечения с использованием ИИ, включая автодополнение кода, интерпретатор кода, веб-поиск, вызов функций, ответы на вопросы на уровне репозитория и многое другое.
Код, лабораторные работы и ресурсы для O'Reilly AI Systems Performance Engineering: оптимизация GPU, распределенное обучение, масштабирование вывода и полностековая настройка.
Виртуализированный эластичный KV-кэш для динамического совместного использования GPU и не только
Принудительное применение формата вывода (JSON Schema, Regex и т. д.) языковой модели
Плагин аппаратного обеспечения, поддерживаемый сообществом, для vLLM на Apple Silicon
Часто задаваемые вопросы
Какой репозиторий по теме #vllm наиболее популярен на GitHub?
Самый высоко оценённый проект с открытым исходным кодом по теме #vllm на GitHub — earendil-works/pi, набравший 123,140 звёзд. Набор инструментов для ИИ-агентов: унифицированный API LLM, цикл агента, TUI, CLI для агента кодирования
Какие языки программирования чаще всего используются в репозиториях по теме #vllm?
Среди наиболее высоко оценённых проектов по теме #vllm на GitHub чаще всего используются языки программирования Python, Jupyter Notebook, Go, TypeScript.
Как рассчитывается рейтинг репозиториев по теме #vllm?
Мы отслеживаем 133 активных репозиториев с открытым исходным кодом, отмеченных тегом #vllm (500 и более звёзд), с общим числом 554,542 звёзд и в среднем 4,169 звёзд на репозиторий. Рейтинги обновляются ежедневно на основе данных GitHub API.