Git Stars Git Stars

#model-serving Репозитории

Откройте для себя 51 активных репозиториев с открытым исходным кодом на GitHub, отмеченных тегом #model-serving, с общим числом 211,758 звёзд (в среднем 4,152 на проект). Лидером этой темы является vllm-project/vllm, набравший 97,302 звёзд.

51
Всего репозиториев
211,758
Всего звезд
4,152
Среднее количество звезд на репозиторий

Всего репозиториев: 51

1
vllm-project/vllm

Высокопроизводительный и эффективный по памяти движок для инференса и обслуживания LLM

vllm-project
⭐ 97,302 Python 👤 vllm-project Organization 🕐 Обновлено 2026-11-21 📅 Создано 2023-02-09
2
bentoml/BentoML

Самый простой способ обслуживания AI-приложений и моделей - Создавайте API вывода моделей, очереди заданий, приложения LLM, конвейеры с несколькими моделями и многое другое!

bentoml
⭐ 8,944 Python 👤 bentoml Organization 🕐 Обновлено 2026-11-17 📅 Создано 2019-04-02
3
vllm-project/vllm-omni

Фреймворк для эффективной инференции модели с использованием омнимодальных моделей

vllm-project
⭐ 7,884 Python 👤 vllm-project Organization 🕐 Обновлено 2026-11-21 📅 Создано 2025-09-11
4
flyteorg/flyte

Типобезопасная распределённая оркестрация агентов, ML-пайплайнов и инференса в реальном времени в вашем k8s — на чистом Python с async/await, а также на других языках (Rust, Go и TypeScript)

flyteorg
⭐ 7,801 Go 👤 flyteorg Organization 🕐 Обновлено 2026-11-21 📅 Создано 2019-10-21
5
zhaochenyang20/Awesome-ML-SYS-Tutorial

Мои учебные заметки по ML SYS.

zhaochenyang20
⭐ 7,695 HTML 👤 zhaochenyang20 User 🕐 Обновлено 2026-10-21 📅 Создано 2024-11-09
6
kserve/kserve

Стандартизированная распределенная платформа для генеративного и предиктивного вывода ИИ для масштабируемого развертывания с несколькими фреймворками на Kubernetes

kserve
⭐ 6,253 Go 👤 kserve Organization 🕐 Обновлено 2026-11-20 📅 Создано 2019-03-27
7
beclab/Olares

Персональная облачная ОС с открытым исходным кодом для постоянно работающих агентов

beclab
⭐ 5,373 Go 👤 beclab Organization 🕐 Обновлено 2026-11-21 📅 Создано 2024-04-29
8
ahkarami/Deep-Learning-in-Production

В этом репозитории я поделюсь полезными заметками и ссылками о развертывании моделей на основе глубокого обучения в продакшене.

ahkarami
⭐ 4,380 👤 ahkarami User 🕐 Обновлено 2024-11-09 📅 Создано 2018-05-03
9
ModelTC/LightLLM

LightLLM — это основанный на Python фреймворк для инференса и обслуживания LLM (больших языковых моделей), известный своим легким дизайном, простой масштабируемостью и высокой скоростью работы.

ModelTC
⭐ 4,368 Python 👤 ModelTC Organization 🕐 Обновлено 2026-11-21 📅 Создано 2023-07-22
10
HuaizhengZhang/AI-Infra-from-Zero-to-Hero

🚀 Крутая Система для Machine Learning ⚡️ Статьи по Системам ИИ и Практика в Индустрии. ⚡️ Система для Machine Learning, LLM (Large Language Model), GenAI (Generative AI). 🍻 OSDI, NSDI, SIGCOMM, SoCC, MLSys и т.д. 🗃️ Llama3, Mistral и т.д. 🧑‍💻 Видеоуроки.

HuaizhengZhang
⭐ 4,224 👤 HuaizhengZhang User 🕐 Обновлено 2025-07-25 📅 Создано 2019-01-07
11
FedML-AI/FedML

FEDML – Единая и масштабируемая ML-библиотека для крупномасштабного распределенного обучения, обслуживания моделей и федеративного обучения. FEDML Launch, кросс-облачный планировщик, позволяет запускать любые ИИ-задания в любом облаке GPU или локальном кластере. TensorOpera AI (https://TensorOpera.ai), построенная на основе этой библиотеки, — это ваша платформа генеративного ИИ в больших масштабах.

FedML-AI
⭐ 4,068 Python 👤 FedML-AI Organization 🕐 Обновлено 2026-11-12 📅 Создано 2020-07-21
12
predibase/lorax

Сервер вывода Multi-LoRA, масштабируемый до тысяч дообученных LLM

predibase
⭐ 3,836 Python 👤 predibase Organization 🕐 Обновлено 2026-05-28 📅 Создано 2023-10-20
13
vllm-project/vllm-ascend

Аппаратный плагин для vLLM на Huawei Ascend, поддерживаемый сообществом

vllm-project
⭐ 3,128 Python 👤 vllm-project Organization 🕐 Обновлено 2026-11-21 📅 Создано 2025-01-29
14
openlake-project/openlake

OpenLake — это высокопроизводительный движок хранения данных для эффективного вывода LLM и обучения на GPU

openlake-project
⭐ 3,089 Rust 👤 openlake-project Organization 🕐 Обновлено 2026-11-19 📅 Создано 2026-04-27
15
thu-pacman/chitu

Высокопроизводительный фреймворк для инференса больших языковых моделей с акцентом на эффективность, гибкость и доступность.

thu-pacman
⭐ 3,005 Python 👤 thu-pacman Organization 🕐 Обновлено 2026-11-21 📅 Создано 2025-02-20
16
AmberLJC/LLMSys-PaperList

Список статей по системам больших языковых моделей (LLM)

AmberLJC
⭐ 2,332 Python 👤 AmberLJC User 🕐 Обновлено 2026-10-20 📅 Создано 2023-06-06
17
tensorchord/envd

🏕️ Воспроизводимая среда разработки для людей и агентов

tensorchord
⭐ 2,249 Go 👤 tensorchord Organization 🕐 Обновлено 2026-11-19 📅 Создано 2022-04-11
18
microsoft/aici

AICI: Промпты как (Wasm) программы

microsoft
⭐ 2,077 Rust 👤 microsoft Organization 🕐 Обновлено 2025-01-22 📅 Создано 2023-09-26
19
tile-ai/TileRT

Пространство выполнения на основе тайлов для сверхнизколатентного вывода LLM

tile-ai
⭐ 1,906 Python 👤 tile-ai Organization 🕐 Обновлено 2026-09-24 📅 Создано 2025-11-12
20
sgl-project/sglang-omni

Высокопроизводительная среда выполнения для обслуживания интерактивных систем сверхинтеллекта

sgl-project
⭐ 1,882 Python 👤 sgl-project Organization 🕐 Обновлено 2026-11-21 📅 Создано 2026-01-07
21
janhq/awesome-local-ai

Потрясающий репозиторий локальных ИИ-инструментов

janhq
⭐ 1,791 👤 janhq Organization 🕐 Обновлено 2024-11-13 📅 Создано 2023-09-06
22
mlrun/mlrun

MLRun — это открытая платформа MLOps для быстрого создания и управления непрерывными приложениями ML на протяжении всего их жизненного цикла. MLRun интегрируется в вашу среду разработки и CI/CD и автоматизирует доставку производственных данных, конвейеров ML и онлайн-приложений.

mlrun
⭐ 1,703 Python 👤 mlrun Organization 🕐 Обновлено 2026-11-20 📅 Создано 2019-09-01
23
ollaya-dev/ollaya

API-сервер, совместимый с Jev, для открытых моделей принятия решений. Ollama для моделей принятия решений: загружайте и запускайте локально 29 семейств моделей (Laya, pplx-decider, Clef, Winnow, coba...) или размещайте их самостоятельно за /v1/systemone. SDK TypeSafe работает без изменений: укажите базовый URL и выберите открытую модель. CLI, настольное приложение, Docker, MCP-сервер и общедоступный бенчмарк.

ollaya-dev
⭐ 1,473 Rust 👤 ollaya-dev Organization 🕐 Обновлено 2026-11-21 📅 Создано 2026-09-23
24
kitops-ml/kitops

Инструмент DevOps с открытым исходным кодом от CNCF для упаковки и управления версиями моделей ИИ/МО, наборов данных, кода и конфигураций в OCI Artifact.

kitops-ml
⭐ 1,451 Go 👤 kitops-ml Organization 🕐 Обновлено 2026-11-20 📅 Создано 2024-02-02
25
alibaba/rtp-llm

RTP-LLM: высокопроизводительный движок вывода LLM от Alibaba для различных приложений.

alibaba
⭐ 1,402 Python 👤 alibaba Organization 🕐 Обновлено 2026-11-21 📅 Создано 2023-12-27
26
hemingkx/SpeculativeDecodingPapers

📰 Обязательные к прочтению статьи и блоги по спекулятивному декодированию ⚡️

hemingkx
⭐ 1,309 👤 hemingkx User 🕐 Обновлено 2026-06-27 📅 Создано 2023-09-20
27
logicalclocks/hopsworks

Hopsworks - Платформа ИИ с интенсивным использованием данных и хранилищем признаков

logicalclocks
⭐ 1,299 Java 👤 logicalclocks Organization 🕐 Обновлено 2025-02-10 📅 Создано 2018-07-26
28
DataExpert-io/ai-engineer-handbook

Все ссылки, книги и создатели, которым нужно следовать, чтобы оставаться в курсе развития ИИ!

DataExpert-io
⭐ 1,261 👤 DataExpert-io Organization 🕐 Обновлено 2026-11-20 📅 Создано 2026-02-16
29
basetenlabs/truss

Самый простой способ развертывания моделей ИИ/МО в производственной среде

basetenlabs
⭐ 1,236 Python 👤 basetenlabs Organization 🕐 Обновлено 2026-11-20 📅 Создано 2022-07-06
30
gpu-mode/awesomeMLSys

Список адаптации ML-систем

gpu-mode
⭐ 1,154 👤 gpu-mode Organization 🕐 Обновлено 2026-02-19 📅 Создано 2024-05-06
31
efeslab/Nanoflow

Ориентированный на пропускную способность высокопроизводительный фреймворк для обслуживания LLM

efeslab
⭐ 978 Jupyter Notebook 👤 efeslab Organization 🕐 Обновлено 2026-03-29 📅 Создано 2024-08-19
32
openvinotoolkit/model_server

Масштабируемый сервер вывода для моделей, оптимизированных с помощью OpenVINO™

openvinotoolkit
⭐ 961 C++ 👤 openvinotoolkit Organization 🕐 Обновлено 2026-11-21 📅 Создано 2018-09-26
⭐ 944 👤 triton-inference-server Organization 🕐 Обновлено 2026-11-02 📅 Создано 2023-09-12
34
replicate/replicate-python

Клиент Python для Replicate

replicate
⭐ 909 Python 👤 replicate Organization 🕐 Обновлено 2025-08-26 📅 Создано 2022-05-11
35
zhihu/ZhiLight

Высокооптимизированный движок ускорения вывода LLM для Llama и его вариантов.

zhihu
⭐ 906 C++ 👤 zhihu Organization 🕐 Обновлено 2026-03-18 📅 Создано 2024-12-06
36
mosecorg/mosec

Высокопроизводительный фреймворк для обслуживания ML-моделей, предлагающий динамическую пакетную обработку и конвейеры CPU/GPU для полного использования вашей вычислительной машины

mosecorg
⭐ 905 Python 👤 mosecorg Organization 🕐 Обновлено 2026-11-02 📅 Создано 2021-03-13
37
trainindata/deploying-machine-learning-models

Код для онлайн-курса «Развертывание моделей машинного обучения»

trainindata
⭐ 879 Jupyter Notebook 👤 trainindata Organization 🕐 Обновлено 2024-08-20 📅 Создано 2019-01-09
38
InternLM/Intern-S1

Научная мультимодальная базовая модель

InternLM
⭐ 876 👤 InternLM Organization 🕐 Обновлено 2026-09-13 📅 Создано 2025-07-25
39
bentoml/Yatai

Масштабное развертывание моделей на Kubernetes 🦄️

bentoml
⭐ 843 TypeScript 👤 bentoml Organization 🕐 Обновлено 2026-05-30 📅 Создано 2021-07-30
40
Tejas-TA/predikit

Недостающее звено между вашими моделями машинного обучения и ИИ-агентами.

Tejas-TA
⭐ 840 Python 👤 Tejas-TA User 🕐 Обновлено 2026-10-28 📅 Создано 2026-05-25
41
pegainfer-project/pegainfer

Чистый движок вывода LLM на Rust + CUDA — без PyTorch, совместим с OpenAI, обслуживает от Qwen3 до Kimi-K2

pegainfer-project
⭐ 748 Rust 👤 pegainfer-project Organization 🕐 Обновлено 2026-11-21 📅 Создано 2026-02-17
42
abhishekkrthakur
⭐ 728 Python 👤 abhishekkrthakur User 🕐 Обновлено 2024-09-14 📅 Создано 2021-10-26
43
ServerlessLLM/ServerlessLLM

Бессерверное развертывание LLM для всех.

ServerlessLLM
⭐ 720 Python 👤 ServerlessLLM Organization 🕐 Обновлено 2026-09-04 📅 Создано 2024-01-23
44
kossisoroyce/timber

Ollama для классических моделей ML. Компилятор AOT, который преобразует модели XGBoost, LightGBM, scikit-learn, CatBoost и ONNX в нативный код вывода C99. Одна команда для загрузки, одна команда для обслуживания. В 336 раз быстрее, чем вывод на Python.

kossisoroyce
⭐ 692 Python 👤 kossisoroyce User 🕐 Обновлено 2026-04-16 📅 Создано 2026-02-27
46
mlfoundations/evalchemy

Автоматические оценки для LLM

mlfoundations
⭐ 617 HTML 👤 mlfoundations Organization 🕐 Обновлено 2026-11-12 📅 Создано 2024-11-15
47
eightBEC/fastapi-ml-skeleton

Шаблонное приложение FastAPI для предоставления готовых к производству моделей машинного обучения.

eightBEC
⭐ 601 Python 👤 eightBEC User 🕐 Обновлено 2026-01-08 📅 Создано 2020-02-15
48
predibase/llm_distillation_playbook

Лучшие практики для дистилляции больших языковых моделей.

predibase
⭐ 596 Jupyter Notebook 👤 predibase Organization 🕐 Обновлено 2024-02-01 📅 Создано 2023-12-06
49
fufankeji/DeepSeek-OCR-Web

Web Studio для анализа документов DeepSeek OCR "из коробки"

fufankeji
⭐ 568 TypeScript 👤 fufankeji User 🕐 Обновлено 2025-10-27 📅 Создано 2025-10-23

Часто задаваемые вопросы

1

Какой репозиторий по теме #model-serving наиболее популярен на GitHub?

Самый высоко оценённый проект с открытым исходным кодом по теме #model-serving на GitHub — vllm-project/vllm, набравший 97,302 звёзд. Высокопроизводительный и эффективный по памяти движок для инференса и обслуживания LLM

2

Какие языки программирования чаще всего используются в репозиториях по теме #model-serving?

Среди наиболее высоко оценённых проектов по теме #model-serving на GitHub чаще всего используются языки программирования Python, Go, Rust, Jupyter Notebook.

3

Как рассчитывается рейтинг репозиториев по теме #model-serving?

Мы отслеживаем 51 активных репозиториев с открытым исходным кодом, отмеченных тегом #model-serving (500 и более звёзд), с общим числом 211,758 звёзд и в среднем 4,152 звёзд на репозиторий. Рейтинги обновляются ежедневно на основе данных GitHub API.