Git Stars Git Stars

#llm-serving Репозитории

Откройте для себя 44 активных репозиториев с открытым исходным кодом на GitHub, отмеченных тегом #llm-serving, с общим числом 381,346 звёзд (в среднем 8,666 на проект). Лидером этой темы является vllm-project/vllm, набравший 97,302 звёзд.

44
Всего репозиториев
381,346
Всего звезд
8,666
Среднее количество звезд на репозиторий
Языки программирования: Python Jupyter Notebook Rust C++ HTML Shell Go

Всего репозиториев: 44

1
vllm-project/vllm

Высокопроизводительный и эффективный по памяти движок для инференса и обслуживания LLM

vllm-project
⭐ 97,302 Python 👤 vllm-project Organization 🕐 Обновлено 2026-11-21 📅 Создано 2023-02-09
2
exo-explore/exo

Запустите Frontier AI локально.

exo-explore
⭐ 48,516 Python 👤 exo-explore Organization 🕐 Обновлено 2026-11-06 📅 Создано 2024-06-24
3
ray-project/ray

Ray — это движок вычислений ИИ. Ray состоит из основной распределённой среды выполнения и набора библиотек ИИ для ускорения нагрузок ML.

ray-project
⭐ 44,352 Python 👤 ray-project Organization 🕐 Обновлено 2026-11-21 📅 Создано 2016-10-25
4
lm-sys/FastChat

Открытая платформа для обучения, развертывания и оценки больших языковых моделей. Репозиторий для Vicuna и Chatbot Arena.

lm-sys
⭐ 39,550 Python 👤 lm-sys Organization 🕐 Обновлено 2026-05-01 📅 Создано 2023-03-19
5
liguodongiot/llm-action

Этот проект направлен на обмен техническими принципами и практическим опытом, связанным с большими моделями (инженерия больших моделей, практическое применение больших моделей).

liguodongiot
⭐ 25,297 HTML 👤 liguodongiot User 🕐 Обновлено 2026-10-14 📅 Создано 2023-05-23
6
NVIDIA/TensorRT-LLM

TensorRT LLM предоставляет пользователям простой в использовании Python API для определения больших языковых моделей (LLM) и поддерживает современные оптимизации для эффективного выполнения вывода на графических процессорах NVIDIA. TensorRT LLM также содержит компоненты для создания сред выполнения Python и C++, которые оркеструют выполнение вывода производительным способом.

NVIDIA
⭐ 15,112 Python 👤 NVIDIA Organization 🕐 Обновлено 2026-11-21 📅 Создано 2023-08-16
7
bentoml/OpenLLM

Запускайте любые LLM с открытым исходным кодом, такие как DeepSeek и Llama, в качестве совместимой с OpenAI конечной точки API в облаке.

bentoml
⭐ 12,610 Python 👤 bentoml Organization 🕐 Обновлено 2026-11-16 📅 Создано 2023-04-19
8
skypilot-org/skypilot

Платформа AI-вычислений для передовых команд. SkyPilot превращает фрагментированные AI-вычисления в один AI-суперкомпьютер, позволяя передовым AI-командам быстрее создавать индивидуальный интеллект.

skypilot-org
⭐ 10,869 Python 👤 skypilot-org Organization 🕐 Обновлено 2026-11-21 📅 Создано 2021-08-11
9
bentoml/BentoML

Самый простой способ обслуживания AI-приложений и моделей - Создавайте API вывода моделей, очереди заданий, приложения LLM, конвейеры с несколькими моделями и многое другое!

bentoml
⭐ 8,944 Python 👤 bentoml Organization 🕐 Обновлено 2026-11-17 📅 Создано 2019-04-02
10
bojieli/ai-infra-book

《Глубокое понимание AI-инфраструктуры: количественный анализ и проектирование систем》 (автор — Ли Боцзе), рукопись книги с открытым исходным кодом: исходя из аппаратных ограничений и архитектур моделей, количественно выводит принципы проектирования систем инференса и обучения LLM. Включает полный текст книги, PDF, сопутствующие вычислительные инструменты и эксперименты.

bojieli
⭐ 8,179 Python 👤 bojieli User 🕐 Обновлено 2026-10-01 📅 Создано 2026-08-22
11
z-lab/dflash

DFlash: Блочный диффузионный подход для предсказывающей декодировки Flash

z-lab
⭐ 6,254 Python 👤 z-lab Organization 🕐 Обновлено 2026-08-18 📅 Создано 2026-01-04
12
gpustack/gpustack

Менеджер GPU-кластеров для высокопроизводительного обслуживания моделей ИИ (vLLM, SGLang) и предоставления GPU-инстансов по запросу с доступом по SSH.

gpustack
⭐ 6,097 Python 👤 gpustack Organization 🕐 Обновлено 2026-11-20 📅 Создано 2024-05-11
13
sgl-project/mini-sglang

Компактная реализация SGLang, разработанная для того, чтобы упростить понимание сложностей современных систем обслуживания LLM.

sgl-project
⭐ 5,623 Python 👤 sgl-project Organization 🕐 Обновлено 2026-05-17 📅 Создано 2025-09-01
14
superduper-io/superduper

Superduper: комплексная платформа для создания пользовательских ИИ-приложений и агентов.

superduper-io
⭐ 5,317 Python 👤 superduper-io Organization 🕐 Обновлено 2025-09-01 📅 Создано 2022-08-30
15
SylphAI-Inc/LLM-engineer-handbook

Курируемый список ресурсов по большим языковым моделям, охватывающий обучение моделей, их развертывание, тонкую настройку и создание приложений LLM.

SylphAI-Inc
⭐ 5,014 👤 SylphAI-Inc Organization 🕐 Обновлено 2025-08-18 📅 Создано 2024-11-04
16
predibase/lorax

Сервер вывода Multi-LoRA, масштабируемый до тысяч дообученных LLM

predibase
⭐ 3,836 Python 👤 predibase Organization 🕐 Обновлено 2026-05-28 📅 Создано 2023-10-20
17
PaddlePaddle/FastDeploy

Высокопроизводительный набор инструментов для инференса и развертывания LLM и VLM на базе PaddlePaddle

PaddlePaddle
⭐ 3,722 Python 👤 PaddlePaddle Organization 🕐 Обновлено 2026-09-24 📅 Создано 2022-06-27
18
vllm-project/vllm-ascend

Аппаратный плагин для vLLM на Huawei Ascend, поддерживаемый сообществом

vllm-project
⭐ 3,128 Python 👤 vllm-project Organization 🕐 Обновлено 2026-11-21 📅 Создано 2025-01-29
19
thu-pacman/chitu

Высокопроизводительный фреймворк для инференса больших языковых моделей с акцентом на эффективность, гибкость и доступность.

thu-pacman
⭐ 3,005 Python 👤 thu-pacman Organization 🕐 Обновлено 2026-11-21 📅 Создано 2025-02-20
20
MoonshotAI/MoBA

MoBA: Смесь блочного внимания для LLM с длинным контекстом

MoonshotAI
⭐ 2,122 Python 👤 MoonshotAI Organization 🕐 Обновлено 2025-04-03 📅 Создано 2025-02-17
21
microsoft/aici

AICI: Промпты как (Wasm) программы

microsoft
⭐ 2,077 Rust 👤 microsoft Organization 🕐 Обновлено 2025-01-22 📅 Создано 2023-09-26
22
SemiAnalysisAI/InferenceX

Исследовательская платформа с открытым исходным кодом для инференса

SemiAnalysisAI
⭐ 2,074 Python 👤 SemiAnalysisAI Organization 🕐 Обновлено 2026-11-21 📅 Создано 2025-07-12
23
ovg-project/kvcached

Виртуализированный эластичный KV-кэш для динамического совместного использования GPU и не только

ovg-project
⭐ 2,051 Python 👤 ovg-project Organization 🕐 Обновлено 2026-11-20 📅 Создано 2025-05-27
24
HuangOwen/Awesome-LLM-Compression

Отличные исследовательские статьи и инструменты для сжатия LLM.

HuangOwen
⭐ 1,899 👤 HuangOwen User 🕐 Обновлено 2026-11-16 📅 Создано 2023-05-30
25
RunanywhereAI/trnrt

Открытый движок инференса LLM для AWS Trainium: мегаядра NKI, контекст на 1 млн токенов и API, совместимый с OpenAI. От RunAnywhere.

RunanywhereAI
⭐ 1,653 Python 👤 RunanywhereAI Organization 🕐 Обновлено 2026-11-20 📅 Создано 2026-10-30
26
GradientHQ/parallax

Parallax — это распределенная модель serving-фреймворк, позволяющий создавать собственный ИИ-кластер где угодно

GradientHQ
⭐ 1,429 Python 👤 GradientHQ Organization 🕐 Обновлено 2026-07-01 📅 Создано 2025-09-22
27
peonist-ai/halogen-flash-server

Локальный инференс с поведением, как у передового API: Qwen3.8-Flash-Next на AMD Strix Halo и небольшие модели для NPU — через API OpenAI и Anthropic на одном порту.

peonist-ai
⭐ 1,412 Shell 👤 peonist-ai Organization 🕐 Обновлено 2026-11-18 📅 Создано 2026-08-26
28
alibaba/rtp-llm

RTP-LLM: высокопроизводительный движок вывода LLM от Alibaba для различных приложений.

alibaba
⭐ 1,402 Python 👤 alibaba Organization 🕐 Обновлено 2026-11-21 📅 Создано 2023-12-27
29
microsoft/MInference

[NeurIPS'24 Spotlight, ICLR'25, ICML'25] Чтобы ускорить вывод Long-context LLMs, аппроксимированныйи и динамический разреженный расчет внимания снижает задержку вывода до 10 раз при предварительном заполнении на A100, сохраняя точность.

microsoft
⭐ 1,230 Python 👤 microsoft Organization 🕐 Обновлено 2026-11-18 📅 Создано 2024-05-22
30
efeslab/Nanoflow

Ориентированный на пропускную способность высокопроизводительный фреймворк для обслуживания LLM

efeslab
⭐ 978 Jupyter Notebook 👤 efeslab Organization 🕐 Обновлено 2026-03-29 📅 Создано 2024-08-19
31
zhihu/ZhiLight

Высокооптимизированный движок ускорения вывода LLM для Llama и его вариантов.

zhihu
⭐ 906 C++ 👤 zhihu Organization 🕐 Обновлено 2026-03-18 📅 Создано 2024-12-06
32
mosecorg/mosec

Высокопроизводительный фреймворк для обслуживания ML-моделей, предлагающий динамическую пакетную обработку и конвейеры CPU/GPU для полного использования вашей вычислительной машины

mosecorg
⭐ 905 Python 👤 mosecorg Organization 🕐 Обновлено 2026-11-02 📅 Создано 2021-03-13
33
triton-inference-server/tutorials

Этот репозиторий содержит учебные пособия и примеры для Triton Inference Server

triton-inference-server
⭐ 869 Python 👤 triton-inference-server Organization 🕐 Обновлено 2026-11-17 📅 Создано 2022-12-16
34
mit-han-lab/omniserve

[MLSys'25] QServe: W4A8KV4 Квантование и совместное проектирование системы для эффективной подачи LLM; [MLSys'25] LServe: Эффективная подача LLM для длинных последовательностей с унифицированным разреженным вниманием

mit-han-lab
⭐ 840 C++ 👤 mit-han-lab Organization 🕐 Обновлено 2025-03-06 📅 Создано 2024-05-06
35
helixml/helix

♾️ Приватный Флот Агентов с Специфической Кодировкой. Каждый агент получает свой собственный GPU-ускоренный рабочий стол. Запускайте Claude, Codex, Gemini и открытые модели на полном приватном AI-стеки ♾️

helixml
⭐ 833 Go 👤 helixml Organization 🕐 Обновлено 2026-11-20 📅 Создано 2023-10-17
36
LLMServe/DistServe

Дезагрегированная система обслуживания для больших языковых моделей (LLM).

LLMServe
⭐ 817 Jupyter Notebook 👤 LLMServe Organization 🕐 Обновлено 2025-04-06 📅 Создано 2024-01-16
37
ARahim3/kaggle-tpu-lab

Открытые модели передового уровня на бесплатной TPU Kaggle v5e-8: GLM-5.3-Flash 320B MoE (~165 токенов/с, на нашем собственном движке JAX) и Qwen3.8-27B bf16 (~130 токенов/с), контекст 262k и кэширование префиксов. Работает с Claude Code, Codex, opencode и pi.

ARahim3
⭐ 812 Python 👤 ARahim3 User 🕐 Обновлено 2026-10-06 📅 Создано 2026-08-31
38
nunchaku-ai/deepcompressor

Инструментарий сжатия моделей для больших языковых моделей и диффузионных моделей

nunchux-ai
⭐ 799 Python 👤 nunchux-ai Organization 🕐 Обновлено 2025-08-14 📅 Создано 2024-05-06
39
pegainfer-project/pegainfer

Чистый движок вывода LLM на Rust + CUDA — без PyTorch, совместим с OpenAI, обслуживает от Qwen3 до Kimi-K2

pegainfer-project
⭐ 748 Rust 👤 pegainfer-project Organization 🕐 Обновлено 2026-11-21 📅 Создано 2026-02-17
40
owenliang/qwen-vllm

Tongyi Qianwen VLLM Демонстрация развертывания инференса

owenliang
⭐ 637 Python 👤 owenliang User 🕐 Обновлено 2024-03-28 📅 Создано 2024-01-21
42
rohan-paul/LLM-FineTuning-Large-Language-Models

Дообучение LLM (большой языковой модели)

rohan-paul
⭐ 574 Jupyter Notebook 👤 rohan-paul User 🕐 Обновлено 2025-04-01 📅 Создано 2023-10-22
43
llumnix-project/llumnix-ray

Эффективное и простое обслуживание LLM с несколькими экземплярами

llumnix-project
⭐ 561 Python 👤 llumnix-project Organization 🕐 Обновлено 2026-03-12 📅 Создано 2024-05-20
44
OmniJev/Flide

🔥🔥 Сверхбыстрый механизм вывода для моделей принятия решений

OmniJev
⭐ 550 Python 👤 OmniJev Organization 🕐 Обновлено 2026-11-21 📅 Создано 2026-10-24

Часто задаваемые вопросы

1

Какой репозиторий по теме #llm-serving наиболее популярен на GitHub?

Самый высоко оценённый проект с открытым исходным кодом по теме #llm-serving на GitHub — vllm-project/vllm, набравший 97,302 звёзд. Высокопроизводительный и эффективный по памяти движок для инференса и обслуживания LLM

2

Какие языки программирования чаще всего используются в репозиториях по теме #llm-serving?

Среди наиболее высоко оценённых проектов по теме #llm-serving на GitHub чаще всего используются языки программирования Python, Jupyter Notebook, Rust, C++.

3

Как рассчитывается рейтинг репозиториев по теме #llm-serving?

Мы отслеживаем 44 активных репозиториев с открытым исходным кодом, отмеченных тегом #llm-serving (500 и более звёзд), с общим числом 381,346 звёзд и в среднем 8,666 звёзд на репозиторий. Рейтинги обновляются ежедневно на основе данных GitHub API.