#llm-serving Репозитории
Откройте для себя 44 активных репозиториев с открытым исходным кодом на GitHub, отмеченных тегом #llm-serving, с общим числом 381,346 звёзд (в среднем 8,666 на проект). Лидером этой темы является vllm-project/vllm, набравший 97,302 звёзд.
Всего репозиториев: 44
Высокопроизводительный и эффективный по памяти движок для инференса и обслуживания LLM
Ray — это движок вычислений ИИ. Ray состоит из основной распределённой среды выполнения и набора библиотек ИИ для ускорения нагрузок ML.
Открытая платформа для обучения, развертывания и оценки больших языковых моделей. Репозиторий для Vicuna и Chatbot Arena.
Этот проект направлен на обмен техническими принципами и практическим опытом, связанным с большими моделями (инженерия больших моделей, практическое применение больших моделей).
TensorRT LLM предоставляет пользователям простой в использовании Python API для определения больших языковых моделей (LLM) и поддерживает современные оптимизации для эффективного выполнения вывода на графических процессорах NVIDIA. TensorRT LLM также содержит компоненты для создания сред выполнения Python и C++, которые оркеструют выполнение вывода производительным способом.
Запускайте любые LLM с открытым исходным кодом, такие как DeepSeek и Llama, в качестве совместимой с OpenAI конечной точки API в облаке.
Платформа AI-вычислений для передовых команд. SkyPilot превращает фрагментированные AI-вычисления в один AI-суперкомпьютер, позволяя передовым AI-командам быстрее создавать индивидуальный интеллект.
Самый простой способ обслуживания AI-приложений и моделей - Создавайте API вывода моделей, очереди заданий, приложения LLM, конвейеры с несколькими моделями и многое другое!
《Глубокое понимание AI-инфраструктуры: количественный анализ и проектирование систем》 (автор — Ли Боцзе), рукопись книги с открытым исходным кодом: исходя из аппаратных ограничений и архитектур моделей, количественно выводит принципы проектирования систем инференса и обучения LLM. Включает полный текст книги, PDF, сопутствующие вычислительные инструменты и эксперименты.
Менеджер GPU-кластеров для высокопроизводительного обслуживания моделей ИИ (vLLM, SGLang) и предоставления GPU-инстансов по запросу с доступом по SSH.
Компактная реализация SGLang, разработанная для того, чтобы упростить понимание сложностей современных систем обслуживания LLM.
Superduper: комплексная платформа для создания пользовательских ИИ-приложений и агентов.
Курируемый список ресурсов по большим языковым моделям, охватывающий обучение моделей, их развертывание, тонкую настройку и создание приложений LLM.
Высокопроизводительный набор инструментов для инференса и развертывания LLM и VLM на базе PaddlePaddle
Высокопроизводительный фреймворк для инференса больших языковых моделей с акцентом на эффективность, гибкость и доступность.
Виртуализированный эластичный KV-кэш для динамического совместного использования GPU и не только
Отличные исследовательские статьи и инструменты для сжатия LLM.
Открытый движок инференса LLM для AWS Trainium: мегаядра NKI, контекст на 1 млн токенов и API, совместимый с OpenAI. От RunAnywhere.
Parallax — это распределенная модель serving-фреймворк, позволяющий создавать собственный ИИ-кластер где угодно
Локальный инференс с поведением, как у передового API: Qwen3.8-Flash-Next на AMD Strix Halo и небольшие модели для NPU — через API OpenAI и Anthropic на одном порту.
RTP-LLM: высокопроизводительный движок вывода LLM от Alibaba для различных приложений.
[NeurIPS'24 Spotlight, ICLR'25, ICML'25] Чтобы ускорить вывод Long-context LLMs, аппроксимированныйи и динамический разреженный расчет внимания снижает задержку вывода до 10 раз при предварительном заполнении на A100, сохраняя точность.
Ориентированный на пропускную способность высокопроизводительный фреймворк для обслуживания LLM
Высокопроизводительный фреймворк для обслуживания ML-моделей, предлагающий динамическую пакетную обработку и конвейеры CPU/GPU для полного использования вашей вычислительной машины
Этот репозиторий содержит учебные пособия и примеры для Triton Inference Server
[MLSys'25] QServe: W4A8KV4 Квантование и совместное проектирование системы для эффективной подачи LLM; [MLSys'25] LServe: Эффективная подача LLM для длинных последовательностей с унифицированным разреженным вниманием
♾️ Приватный Флот Агентов с Специфической Кодировкой. Каждый агент получает свой собственный GPU-ускоренный рабочий стол. Запускайте Claude, Codex, Gemini и открытые модели на полном приватном AI-стеки ♾️
Открытые модели передового уровня на бесплатной TPU Kaggle v5e-8: GLM-5.3-Flash 320B MoE (~165 токенов/с, на нашем собственном движке JAX) и Qwen3.8-27B bf16 (~130 токенов/с), контекст 262k и кэширование префиксов. Работает с Claude Code, Codex, opencode и pi.
Инструментарий сжатия моделей для больших языковых моделей и диффузионных моделей
Чистый движок вывода LLM на Rust + CUDA — без PyTorch, совместим с OpenAI, обслуживает от Qwen3 до Kimi-K2
Часто задаваемые вопросы
Какой репозиторий по теме #llm-serving наиболее популярен на GitHub?
Самый высоко оценённый проект с открытым исходным кодом по теме #llm-serving на GitHub — vllm-project/vllm, набравший 97,302 звёзд. Высокопроизводительный и эффективный по памяти движок для инференса и обслуживания LLM
Какие языки программирования чаще всего используются в репозиториях по теме #llm-serving?
Среди наиболее высоко оценённых проектов по теме #llm-serving на GitHub чаще всего используются языки программирования Python, Jupyter Notebook, Rust, C++.
Как рассчитывается рейтинг репозиториев по теме #llm-serving?
Мы отслеживаем 44 активных репозиториев с открытым исходным кодом, отмеченных тегом #llm-serving (500 и более звёзд), с общим числом 381,346 звёзд и в среднем 8,666 звёзд на репозиторий. Рейтинги обновляются ежедневно на основе данных GitHub API.