Git Stars Git Stars

#inference Репозитории

Откройте для себя 144 активных репозиториев с открытым исходным кодом на GitHub, отмеченных тегом #inference, с общим числом 870,238 звёзд (в среднем 6,043 на проект). Лидером этой темы является vllm-project/vllm, набравший 97,302 звёзд.

144
Всего репозиториев
870,238
Всего звезд
6,043
Среднее количество звезд на репозиторий

Всего репозиториев: 144

1
vllm-project/vllm

Высокопроизводительный и эффективный по памяти движок для инференса и обслуживания LLM

vllm-project
⭐ 97,302 Python 👤 vllm-project Organization 🕐 Обновлено 2026-11-21 📅 Создано 2023-02-09
2
ultralytics/yolov5

Ultralytics YOLOv5 в PyTorch для обнаружения объектов, сегментации экземпляров, классификации, обучения и экспорта.

ultralytics
⭐ 58,290 Python 👤 ultralytics Organization 🕐 Обновлено 2026-11-16 📅 Создано 2020-05-18
3
ggml-org/whisper.cpp

Порт модели Whisper от OpenAI на C/C++

ggml-org
⭐ 55,392 C++ 👤 ggml-org Organization 🕐 Обновлено 2026-11-20 📅 Создано 2022-09-25
4
deepspeedai/DeepSpeed

DeepSpeed — это библиотека оптимизации для глубокого обучения, которая делает распределённое обучение и вывод простыми, эффективными и результативными.

deepspeedai
⭐ 43,348 Python 👤 deepspeedai Organization 🕐 Обновлено 2026-11-21 📅 Создано 2020-01-23
5
hpcaitech/ColossalAI

Сделать большие модели ИИ дешевле, быстрее и доступнее

hpcaitech
⭐ 41,421 Python 👤 hpcaitech Organization 🕐 Обновлено 2026-11-19 📅 Создано 2021-10-28
6
sgl-project/sglang

SGLang — это высокопроизводительный фреймворк для обслуживания больших языковых моделей и мультимодальных моделей.

sgl-project
⭐ 38,899 Python 👤 sgl-project Organization 🕐 Обновлено 2026-11-21 📅 Создано 2024-01-08
7
google-ai-edge/mediapipe

Кросс-платформенные, настраиваемые решения ML для живых и потоковых медиа.

google-ai-edge
⭐ 37,769 C++ 👤 google-ai-edge Organization 🕐 Обновлено 2026-11-21 📅 Создано 2019-06-13
8
SYSTRAN/faster-whisper

Более быстрая транскрипция Whisper с помощью CTranslate2

SYSTRAN
⭐ 26,924 Python 👤 SYSTRAN Organization 🕐 Обновлено 2026-11-12 📅 Создано 2023-02-11
9
Tencent/ncnn

ncnn — это высокопроизводительный фреймворк для инференса нейронных сетей, оптимизированный для мобильных платформ

Tencent
⭐ 24,082 C++ 👤 Tencent Organization 🕐 Обновлено 2026-11-21 📅 Создано 2017-06-30
10
stas00/ml-engineering

Открытая книга по машинному обучению

stas00
⭐ 19,738 Python 👤 stas00 User 🕐 Обновлено 2026-11-20 📅 Создано 2020-09-02
11
FlashML-org/FreeToken

FreeToken переносит обслуживание моделей масштаба дата-центра на ваш рабочий стол. Запускайте масштабные модели локально, быстро и эффективно.

FlashML-org
⭐ 17,522 Python 👤 FlashML-org User 🕐 Обновлено 2026-11-21 📅 Создано 2026-07-20
⭐ 16,519 Python 👤 GeeeekExplorer User 🕐 Обновлено 2026-04-26 📅 Создано 2025-06-09
13
gvergnaud/ts-pattern

🎨 Исчерпывающая библиотека сопоставления с образцом для TypeScript с интеллектуальным выводом типов.

gvergnaud
⭐ 15,224 TypeScript 👤 gvergnaud User 🕐 Обновлено 2026-11-20 📅 Создано 2020-05-24
14
NVIDIA/TensorRT

NVIDIA® TensorRT™ — это SDK для высокопроизводительного вывода глубокого обучения на GPU NVIDIA. Этот репозиторий содержит компоненты с открытым исходным кодом TensorRT.

NVIDIA
⭐ 13,475 C++ 👤 NVIDIA Organization 🕐 Обновлено 2026-11-18 📅 Создано 2019-05-02
15
LMCache/LMCache

LMCache: Ускорьте свою LLM с помощью самого быстрого уровня кэширования KV

LMCache
⭐ 12,405 Python 👤 LMCache Organization 🕐 Обновлено 2026-11-21 📅 Создано 2024-05-28
16
openvinotoolkit/openvino

OpenVINO™ — это набор инструментов с открытым исходным кодом для оптимизации и развертывания вывода ИИ.

openvinotoolkit
⭐ 11,869 C++ 👤 openvinotoolkit Organization 🕐 Обновлено 2026-11-21 📅 Создано 2018-10-15
17
triton-inference-server/server

Сервер вывода Triton предоставляет оптимизированное решение для вывода в облаке и на краю.

triton-inference-server
⭐ 11,156 Python 👤 triton-inference-server Organization 🕐 Обновлено 2026-11-20 📅 Создано 2018-10-04
18
aws/amazon-sagemaker-examples

Примеры 📓 Jupyter notebooks, демонстрирующие, как строить, обучать и развертывать модели машинного обучения с использованием 🧠 Amazon SageMaker.

aws
⭐ 11,020 Jupyter Notebook 👤 aws Organization 🕐 Обновлено 2026-10-14 📅 Создано 2017-10-23
19
huggingface/text-generation-inference

Вывод генерации текста больших языковых моделей

huggingface
⭐ 10,812 Python 👤 huggingface Organization 🕐 Обновлено 2026-01-08 📅 Создано 2022-10-08
20
ultralytics/yolov3

Реализация YOLOv3, YOLOv3-SPP и YOLOv3-tiny на PyTorch для обнаружения объектов в реальном времени с поддержкой обучения, валидации, инференса и экспорта в различные форматы.

ultralytics
⭐ 10,647 Python 👤 ultralytics Organization 🕐 Обновлено 2026-11-07 📅 Создано 2018-08-26
21
RunanywhereAI/runanywhere-sdks

Готовый к производству инструментарий для локального запуска ИИ

RunanywhereAI
⭐ 10,354 C++ 👤 RunanywhereAI Organization 🕐 Обновлено 2026-11-10 📅 Создано 2025-07-22
22
xorbitsai/inference

Открытая платформа для инференса языковых, визуальных, эмбеддинговых моделей, моделей переранжирования, изображений, аудио и видео. Развертывайте несколько движков на разнородном оборудовании — от ноутбука до распределенного кластера. Предоставляйте модели через API, совместимые с OpenAI.

xorbitsai
⭐ 9,667 Python 👤 xorbitsai Organization 🕐 Обновлено 2026-11-21 📅 Создано 2023-06-14
23
oumi-ai/oumi

Легко дообучайте (SFT/RL), оценивайте и развёртывайте Qwen, Gemma или любую открытую агентную LLM/VLM!

oumi-ai
⭐ 9,441 Python 👤 oumi-ai Organization 🕐 Обновлено 2026-11-21 📅 Создано 2024-05-07
24
dusty-nv/jetson-inference

Руководство Hello AI World по развертыванию сетей вывода глубокого обучения и примитивов глубокого зрения с помощью TensorRT и NVIDIA Jetson.

dusty-nv
⭐ 9,015 C++ 👤 dusty-nv User 🕐 Обновлено 2025-10-16 📅 Создано 2016-07-30
25
vllm-project/vllm-omni

Фреймворк для эффективной инференции модели с использованием омнимодальных моделей

vllm-project
⭐ 7,884 Python 👤 vllm-project Organization 🕐 Обновлено 2026-11-21 📅 Создано 2025-09-11
26
Human-Agent-Society/reef

Инфраструктура для постоянно совершенствующихся агентов

Human-Agent-Society
⭐ 7,652 Python 👤 Human-Agent-Society Organization 🕐 Обновлено 2026-11-21 📅 Создано 2026-08-31
27
mizorewww/laya-mlx

Нативная среда выполнения MLX для типизированных моделей принятия решений Laya — короткие решения за 7–14 мс на M3 Max. Без генерации текста, PyTorch и облачных API.

mizorewww
⭐ 7,115 Python 👤 mizorewww User 🕐 Обновлено 2026-11-21 📅 Создано 2026-09-19
28
kvcache-ai/Mooncake

Mooncake — это платформа обслуживания для Kimi, ведущего LLM-сервиса, предоставляемого Moonshot AI.

kvcache-ai
⭐ 7,100 C++ 👤 kvcache-ai Organization 🕐 Обновлено 2026-11-21 📅 Создано 2024-06-25
29
gcanti/io-ts

Система типов времени выполнения для декодирования/кодирования ввода-вывода

gcanti
⭐ 6,812 TypeScript 👤 gcanti User 🕐 Обновлено 2024-12-10 📅 Создано 2017-01-28
30
vllm-project/semantic-router

Открытый программируемый слой принятия решений для моделей и вычислений.

vllm-project
⭐ 6,514 Go 👤 vllm-project Organization 🕐 Обновлено 2026-11-21 📅 Создано 2025-08-26
31
argmaxinc/argmax-oss-swift

Речевой ИИ на устройстве для Apple Silicon

argmaxinc
⭐ 6,471 Swift 👤 argmaxinc Organization 🕐 Обновлено 2026-10-27 📅 Создано 2024-01-26
32
Trusted-AI/adversarial-robustness-toolbox

Инструментарий для устойчивости к атакам антагонистов (ART) - Библиотека Python для безопасности машинного обучения - Обход, Отравление, Извлечение, Вывод - Красная и Синяя команды

Trusted-AI
⭐ 6,322 Python 👤 Trusted-AI Organization 🕐 Обновлено 2026-11-13 📅 Создано 2018-03-15
33
gpustack/gpustack

Менеджер GPU-кластеров для высокопроизводительного обслуживания моделей ИИ (vLLM, SGLang) и предоставления GPU-инстансов по запросу с доступом по SSH.

gpustack
⭐ 6,097 Python 👤 gpustack Organization 🕐 Обновлено 2026-11-20 📅 Создано 2024-05-11
34
llm-d/llm-d

Передовая производительность инференса с современными ускорителями в Kubernetes

llm-d
⭐ 5,325 Python 👤 llm-d Organization 🕐 Обновлено 2026-11-21 📅 Создано 2025-04-29
35
superduper-io/superduper

Superduper: комплексная платформа для создания пользовательских ИИ-приложений и агентов.

superduper-io
⭐ 5,317 Python 👤 superduper-io Organization 🕐 Обновлено 2025-09-01 📅 Создано 2022-08-30
36
tencentmusic/cube-studio

cube studio Open-Source Cloud-Native Универсальная AI-платформа для машинного обучения/глубокого обучения/больших моделей, полный процесс алгоритмической цепочки MLOps, платформа аренды вычислительных мощностей, онлайн-разработка в Notebook, оркестровка конвейера задач методом перетаскивания, распределенное обучение на нескольких машинах с несколькими GPU, поиск гиперпараметров, виртуализация VGPU для сервиса инференса, граничные вычисления, автоматизированная разметка на платформе разметки, дообучение SFT больших моделей (deepseek и др.)/модель вознаграждения/обучение с подкреплением, многомашинный инференс больших моделей (vllm/ollama/mindie и др.), частная база знаний, маркетплейс AI-моделей, поддержка отечественных CPU/GPU/NPU экосистемы Ascend, поддержка RDMA, поддержка распределенных фреймворков (pytorch/tf/mxnet/deepspeed/paddle/colossalai/horovod/ray/volcano и др.)

tencentmusic
⭐ 5,085 👤 tencentmusic Organization 🕐 Обновлено 2026-10-09 📅 Создано 2021-08-17
37
NVIDIA-AI-IOT/torch2trt

Простой в использовании конвертер из PyTorch в TensorRT

NVIDIA-AI-IOT
⭐ 4,840 Python 👤 NVIDIA-AI-IOT Organization 🕐 Обновлено 2024-08-17 📅 Создано 2019-04-27
38
hao-ai-lab/FastVideo

Единая структура логического вывода и постобработки для ускоренной генерации видео.

hao-ai-lab
⭐ 4,833 Python 👤 hao-ai-lab Organization 🕐 Обновлено 2026-11-20 📅 Создано 2024-10-24
39
OpenNMT/CTranslate2

Быстрый движок вывода для моделей Transformer

OpenNMT
⭐ 4,758 C++ 👤 OpenNMT Organization 🕐 Обновлено 2026-11-21 📅 Создано 2019-09-23
40
Tencent/TNN

TNN: разработанный Tencent Youtu Lab и Guangying Lab, унифицированный фреймворк для инференса глубокого обучения для мобильных устройств, настольных компьютеров и серверов. TNN отличается несколькими выдающимися особенностями, включая кроссплатформенность, высокую производительность, сжатие моделей и обрезку кода. Основываясь на ncnn и Rapidnet, TNN еще больше усиливает поддержку и оптимизацию производительности для мобильных устройств, а также использует преимущества хорошей расширяемости и высокой производительности существующих усилий по разработке открытого исходного кода.

Tencent
⭐ 4,635 C++ 👤 Tencent Organization 🕐 Обновлено 2025-05-09 📅 Создано 2020-05-29
41
typedb/typedb

TypeDB: Создано для систем, а не для записей

typedb
⭐ 4,524 Rust 👤 typedb Organization 🕐 Обновлено 2026-11-19 📅 Создано 2016-07-11
42
openvinotoolkit/open_model_zoo

Предобученные модели глубокого обучения и демо (высокое качество и чрезвычайно быстро)

openvinotoolkit
⭐ 4,440 Python 👤 openvinotoolkit Organization 🕐 Обновлено 2026-11-16 📅 Создано 2018-10-15
43
zml/zml

Любая модель. Любое оборудование. Без компромиссов. Создано с помощью @ziglang / @openxla / MLIR / @bazelbuild

zml
⭐ 4,292 Zig 👤 zml Organization 🕐 Обновлено 2026-11-20 📅 Создано 2024-09-17
44
uxlfoundation/oneDNN

Библиотека с открытым исходным кодом, содержащая оптимизированные операции глубокого обучения (матричное умножение, свёртка и механизм внимания) для процессоров (x64, AArch64, RISC-V) и графических процессоров Intel. Используется в PyTorch, TensorFlow, OpenVINO и ONNX Runtime.

uxlfoundation
⭐ 4,094 C++ 👤 uxlfoundation Organization 🕐 Обновлено 2026-11-21 📅 Создано 2016-05-09
45
OpenCSGs/csghub

CSGHub — это совершенно новая Open-Source платформа для управления LLM, разработанная командой OpenCSG. Она предлагает как Open-Source, так и локальные/SaaS решения с функциями, сравнимыми с Hugging Face. Получите полный контроль над жизненным циклом LLM, наборов данных и агентов благодаря совместимой с Hugging Face SDK на Python. Присоединяйтесь к нам! ⭐️

OpenCSGs
⭐ 4,083 Vue 👤 OpenCSGs Organization 🕐 Обновлено 2026-11-13 📅 Создано 2024-01-12
46
FlashML-org/FreeVideo

Создавайте видео на уже имеющемся у вас компьютере. FreeVideo запускает MiniMax H3 всего с 8 ГБ видеопамяти и 16 ГБ оперативной памяти, адаптируя путь ускорения под ваше оборудование.

FlashML-org
⭐ 4,049 Python 👤 FlashML-org User 🕐 Обновлено 2026-11-20 📅 Создано 2026-09-13
47
PaddlePaddle/FastDeploy

Высокопроизводительный набор инструментов для инференса и развертывания LLM и VLM на базе PaddlePaddle

PaddlePaddle
⭐ 3,722 Python 👤 PaddlePaddle Organization 🕐 Обновлено 2026-09-24 📅 Создано 2022-06-27
48
superlinked/sie

Сервер логического вывода с открытым исходным кодом и производственный кластер для всех моделей, необходимых вашему агенту.

superlinked
⭐ 3,534 Python 👤 superlinked Organization 🕐 Обновлено 2026-11-20 📅 Создано 2023-11-07
49
huggingface/optimum

🚀 Ускорьте вывод и обучение 🤗 Transformers, Diffusers, TIMM и Sentence Transformers с помощью простых в использовании инструментов аппаратной оптимизации

huggingface
⭐ 3,525 Python 👤 huggingface Organization 🕐 Обновлено 2026-11-16 📅 Создано 2021-07-20
50
zjhellofss/KuiperInfer

Отличные проекты для ярмарок вакансий, осеннего и весеннего набора, стажировок! Пошаговое руководство по созданию высокопроизводительной библиотеки для инференса глубокого обучения, поддерживающей инференс больших моделей, таких как Llama2, Unet, YoloV5, Resnet и других. Реализуйте высокопроизводительную библиотеку для инференса глубокого обучения шаг за шагом.

zjhellofss
⭐ 3,444 C++ 👤 zjhellofss User 🕐 Обновлено 2025-06-22 📅 Создано 2022-11-21

Часто задаваемые вопросы

1

Какой репозиторий по теме #inference наиболее популярен на GitHub?

Самый высоко оценённый проект с открытым исходным кодом по теме #inference на GitHub — vllm-project/vllm, набравший 97,302 звёзд. Высокопроизводительный и эффективный по памяти движок для инференса и обслуживания LLM

2

Какие языки программирования чаще всего используются в репозиториях по теме #inference?

Среди наиболее высоко оценённых проектов по теме #inference на GitHub чаще всего используются языки программирования Python, C++, TypeScript, Jupyter Notebook.

3

Как рассчитывается рейтинг репозиториев по теме #inference?

Мы отслеживаем 144 активных репозиториев с открытым исходным кодом, отмеченных тегом #inference (500 и более звёзд), с общим числом 870,238 звёзд и в среднем 6,043 звёзд на репозиторий. Рейтинги обновляются ежедневно на основе данных GitHub API.