Git Stars Git Stars

#inference Репозитории

144
Всего репозиториев
870,238
Всего звезд
6,043
Среднее количество звезд на репозиторий

Всего репозиториев: 144

51
trymirai/uzu

Высокопроизводительный движок вывода для моделей ИИ

trymirai
⭐ 3,378 Rust 👤 trymirai Organization 🕐 Обновлено 2026-11-21 📅 Создано 2025-06-23
52
openvinotoolkit/openvino_notebooks

📚 Учебные пособия Jupyter Notebook для OpenVINO™

openvinotoolkit
⭐ 3,245 Jupyter Notebook 👤 openvinotoolkit Organization 🕐 Обновлено 2026-11-21 📅 Создано 2021-03-11
53
vllm-project/vllm-ascend

Аппаратный плагин для vLLM на Huawei Ascend, поддерживаемый сообществом

vllm-project
⭐ 3,128 Python 👤 vllm-project Organization 🕐 Обновлено 2026-11-21 📅 Создано 2025-01-29
54
pytorch/ao

Нативная квантование PyTorch для обучения и вывода

pytorch
⭐ 3,032 Python 👤 pytorch Organization 🕐 Обновлено 2026-11-21 📅 Создано 2023-11-03
55
pykeio/ort

Быстрый ML-инференс и обучение для моделей ONNX на Rust

pykeio
⭐ 2,626 Rust 👤 pykeio Organization 🕐 Обновлено 2026-11-18 📅 Создано 2022-11-26
56
data-infra/cube-studio

CubeStudio — это открытая облачная универсальная платформа для машинного обучения/глубокого обучения/больших моделей ИИ/MaaS/MLOps/платформа искусственного интеллекта/платформа обучения и вывода, охватывающая полный конвейер алгоритмов, мультитенантность, платформу аренды вычислительных мощностей, ретрансляцию токенов, оркестрацию конвейеров задач с помощью перетаскивания, распределенное обучение на нескольких машинах с несколькими картами, поиск гиперпараметров, сервисы вывода, виртуализацию VGPU, взаимодействие облако-край-устройство, периферийные вычисления, автоматизированную платформу аннотации, тонкую настройку SFT/модель вознаграждения/обучение с подкреплением для больших моделей, таких как DeepSeek, многомашинный вывод для больших моделей с vLLM/Ollama/MindIE, интеллектуальные агенты LLMOps с частной базой знаний, рынок моделей ИИ, поддержка планирования отечественных гетерогенных вычислительных мощностей (Ascend, Cambricon, Hygon, Moore Threads, Muxi и др.), поддержка IB/RoCE/RDMA и поддержка Xinchuang.

data-infra
⭐ 2,615 Python 👤 data-infra User 🕐 Обновлено 2026-10-12 📅 Создано 2024-07-02
57
huggingface/huggingface.js

Используйте Hugging Face с JavaScript

huggingface
⭐ 2,613 TypeScript 👤 huggingface Organization 🕐 Обновлено 2026-11-21 📅 Создано 2023-02-06
58
ddalcu/mlx-serve

Нативный сервер инференса LLM для Apple Silicon. Совместим с API OpenAI и Anthropic. Python не требуется. Приложение macOS с бэкендом на Zig и фронтендом на Swift, поддерживающее генерацию чатов, музыки, голоса и видео.

ddalcu
⭐ 2,528 Zig 👤 ddalcu User 🕐 Обновлено 2026-11-21 📅 Создано 2026-02-17
59
google/XNNPACK

Высокоэффективные операторы вывода нейронных сетей с плавающей запятой для мобильных устройств, серверов и Интернета

google
⭐ 2,506 C 👤 google Organization 🕐 Обновлено 2026-11-21 📅 Создано 2019-09-13
60
roboflow/inference

Превратите любой компьютер или периферийное устройство в центр управления вашими проектами компьютерного зрения.

roboflow
⭐ 2,500 Python 👤 roboflow Organization 🕐 Обновлено 2026-11-21 📅 Создано 2023-07-31
61
theagentrouter/agent-router

Управляет унифицированным доступом к генеративным сервисам ИИ, построенным на Envoy Gateway

theagentrouter
⭐ 2,428 Go 👤 theagentrouter Organization 🕐 Обновлено 2026-11-19 📅 Создано 2024-10-21
62
adithya-s-k/AI-Engineering.academy

Овладение прикладным ИИ, по одной концепции за раз

adithya-s-k
⭐ 2,388 Jupyter Notebook 👤 adithya-s-k User 🕐 Обновлено 2026-02-27 📅 Создано 2023-10-05
63
dstackai/dstack

Единый уровень оркестрации для разнородных вычислительных ресурсов ИИ. Он стандартизирует управление вычислительными ресурсами и запуск обучения и инференса в GPU-облаках, Kubernetes, виртуальных машинах или кластерах на физических серверах.

dstackai
⭐ 2,319 Python 👤 dstackai Organization 🕐 Обновлено 2026-11-20 📅 Создано 2022-01-04
64
mozilla-ai/any-llm

Общайтесь с поставщиком LLM через единый интерфейс

mozilla-ai
⭐ 2,265 Python 👤 mozilla-ai Organization 🕐 Обновлено 2026-11-21 📅 Создано 2025-07-14
65
RightNow-AI/picolm

Запустить LLM с 1 миллиардом параметров на плате стоимостью 10 долларов с 256 МБ ОЗУ.

RightNow-AI
⭐ 2,218 C 👤 RightNow-AI Organization 🕐 Обновлено 2026-02-22 📅 Создано 2026-02-19
66
magenta/magenta-js

Magenta.js: Генерация музыки и искусства с помощью машинного обучения в браузере

magenta
⭐ 2,136 TypeScript 👤 magenta Organization 🕐 Обновлено 2026-06-22 📅 Создано 2018-03-26
67
tairov/llama2.mojo

Вывод Llama 2 в одном файле чистого 🔥

tairov
⭐ 2,126 Mojo 👤 tairov User 🕐 Обновлено 2026-09-30 📅 Создано 2023-09-10
68
deepspeedai/DeepSpeed-MII

MII обеспечивает низкую задержку и высокую пропускную способность при выводе благодаря DeepSpeed.

deepspeedai
⭐ 2,107 Python 👤 deepspeedai Organization 🕐 Обновлено 2025-06-30 📅 Создано 2022-03-23
69
microsoft/aici

AICI: Промпты как (Wasm) программы

microsoft
⭐ 2,077 Rust 👤 microsoft Organization 🕐 Обновлено 2025-01-22 📅 Создано 2023-09-26
70
SemiAnalysisAI/InferenceX

Исследовательская платформа с открытым исходным кодом для инференса

SemiAnalysisAI
⭐ 2,074 Python 👤 SemiAnalysisAI Organization 🕐 Обновлено 2026-11-21 📅 Создано 2025-07-12
71
sgl-project/sglang-omni

Высокопроизводительная среда выполнения для обслуживания интерактивных систем сверхинтеллекта

sgl-project
⭐ 1,882 Python 👤 sgl-project Organization 🕐 Обновлено 2026-11-21 📅 Создано 2026-01-07
72
AgibotTech/agibot_x1_infer

Модуль вывода для AgiBot X1.

AgibotTech
⭐ 1,817 C++ 👤 AgibotTech Organization 🕐 Обновлено 2025-04-03 📅 Создано 2024-10-23
73
StartLuxLabs/StartLux-Decision

Открытые модели для принятия решений от 0,8B до 27B: откалиброванная вероятность для каждого варианта за один проход и краткое рассуждение только при неуверенности. Движок для vLLM, llama.cpp и MLX.

StartLuxLabs
⭐ 1,780 Python 👤 StartLuxLabs Organization 🕐 Обновлено 2026-10-23 📅 Создано 2026-09-29
74
theopenco/llmgateway

Маршрутизируйте, управляйте и анализируйте свои запросы LLM у нескольких поставщиков с помощью унифицированного API-интерфейса.

theopenco
⭐ 1,755 TypeScript 👤 theopenco Organization 🕐 Обновлено 2026-11-21 📅 Создано 2025-04-12
75
Maratyszcza/NNPACK

Пакет ускорения для нейронных сетей на многоядерных процессорах

Maratyszcza
⭐ 1,702 C 👤 Maratyszcza User 🕐 Обновлено 2024-06-11 📅 Создано 2016-03-21
76
ELS-RD/transformer-deploy

Эффективный, масштабируемый и высокопроизводительный сервер вывода CPU/GPU для трансформерных моделей 🤗 Hugging Face 🚀

ELS-RD
⭐ 1,689 Python 👤 ELS-RD Organization 🕐 Обновлено 2024-10-23 📅 Создано 2021-10-31
77
RunanywhereAI/trnrt

Открытый движок инференса LLM для AWS Trainium: мегаядра NKI, контекст на 1 млн токенов и API, совместимый с OpenAI. От RunAnywhere.

RunanywhereAI
⭐ 1,653 Python 👤 RunanywhereAI Organization 🕐 Обновлено 2026-11-20 📅 Создано 2026-10-30
78
xLLM-AI/xllm

Высокопроизводительный механизм инференса для моделей LLM, VLM и DiT, оптимизированный для различных ИИ-ускорителей. Проект размещён в фонде OpenAtom Foundation.

xLLM-AI
⭐ 1,626 C++ 👤 xLLM-AI Organization 🕐 Обновлено 2026-11-21 📅 Создано 2025-08-12
79
Delta-ML/delta

DELTA — это платформа обработки естественного языка и речи на основе глубокого обучения. LF AI & DATA Projects: https://lfaidata.foundation/projects/delta/

Delta-ML
⭐ 1,602 Python 👤 Delta-ML Organization 🕐 Обновлено 2025-04-16 📅 Создано 2019-05-29
80
utkuozdemir/nvidia_gpu_exporter

Экспортер GPU NVIDIA для Prometheus с использованием бинарного файла nvidia-smi ИЛИ NVML

utkuozdemir
⭐ 1,599 Go 👤 utkuozdemir User 🕐 Обновлено 2026-11-20 📅 Создано 2021-06-08
81
Tencent/TurboTransformers

быстрая и удобная среда выполнения для инференса трансформеров (Bert, Albert, GPT2, Decoders и т. д.) на CPU и GPU.

Tencent
⭐ 1,546 C++ 👤 Tencent Organization 🕐 Обновлено 2025-07-18 📅 Создано 2020-04-20
⭐ 1,503 Python 👤 Stability-AI Organization 🕐 Обновлено 2025-01-08 📅 Создано 2024-10-09
83
sybil-solutions/inference-optimisation-skill

Навык агента для поэтапной оптимизации скорости обслуживания локальных LLM (декодирование, спекулятивное декодирование, префилл, KV, запуск, TTFT) на любом оборудовании и при любой квантовке

sybil-solutions
⭐ 1,425 Python 👤 sybil-solutions Organization 🕐 Обновлено 2026-11-16 📅 Создано 2026-11-16
84
alibaba/rtp-llm

RTP-LLM: высокопроизводительный движок вывода LLM от Alibaba для различных приложений.

alibaba
⭐ 1,402 Python 👤 alibaba Organization 🕐 Обновлено 2026-11-21 📅 Создано 2023-12-27
85
ebhy/budgetml

Разверните службу вывода ML с ограниченным бюджетом менее чем за 10 строк кода.

ebhy
⭐ 1,345 Python 👤 ebhy Organization 🕐 Обновлено 2024-02-12 📅 Создано 2020-12-27
86
StarlightSearch/EmbedAnything

Высокопроизводительное, модульное, безопасное по памяти и готовое к эксплуатации решение для инференса, приема данных и индексирования, разработанное на Rust 🦀

StarlightSearch
⭐ 1,334 Rust 👤 StarlightSearch Organization 🕐 Обновлено 2026-11-18 📅 Создано 2024-03-31
87
qualcomm/ai-hub-models

Qualcomm® AI Hub Models — это наша коллекция передовых моделей машинного обучения, оптимизированных для обеспечения производительности (задержка, память и т. д.) и готовых к развертыванию на устройствах Qualcomm®.

qualcomm
⭐ 1,269 Python 👤 qualcomm Organization 🕐 Обновлено 2026-11-21 📅 Создано 2023-12-20
88
NVIDIA/kvpress

Сжатие KV-кэша LLM — это просто

NVIDIA
⭐ 1,258 Python 👤 NVIDIA Organization 🕐 Обновлено 2026-11-16 📅 Создано 2024-11-06
89
FenTechSolutions/CausalDiscoveryToolbox

Пакет для причинно-следственного вывода в графах и в парных настройках. Включает инструменты для восстановления структуры графа и зависимостей.

FenTechSolutions
⭐ 1,242 Python 👤 FenTechSolutions Organization 🕐 Обновлено 2025-10-13 📅 Создано 2017-05-31
90
run-house/kubetorch

Распределяйте и запускайте рабочие нагрузки ИИ на Kubernetes «волшебным» образом на Python, подобно PyTorch для инфраструктуры машинного обучения (ML).

run-house
⭐ 1,228 Python 👤 run-house Organization 🕐 Обновлено 2026-05-29 📅 Создано 2022-05-10
91
google/agentmesh

Сеть агентов

google
⭐ 1,208 Go 👤 google Organization 🕐 Обновлено 2026-11-21 📅 Создано 2026-04-21
92
jmaczan/tiny-vllm

Создайте свой собственный высокопроизводительный движок вывода LLM на C++ и CUDA - уменьшенная версия vLLM

jmaczan
⭐ 1,207 C++ 👤 jmaczan User 🕐 Обновлено 2026-11-15 📅 Создано 2026-02-09
93
chrishayuk/larql

Запускайте, предоставляйте, запрашивайте и редактируйте модели ИИ — среда выполнения моделей на Rust, построенная на основе VINDEX3, исполняемого и доступного для анализа формата моделей.

chrishayuk
⭐ 1,196 Rust 👤 chrishayuk User 🕐 Обновлено 2026-11-21 📅 Создано 2026-03-27
94
usamahz/cpu-performance-engineering

План чтения по инженерии производительности CPU: от одной инструкции до инференса в продакшене. Только первичные источники, с запускаемым бенчмарком для каждого раздела.

usamahz
⭐ 1,160 Python 👤 usamahz User 🕐 Обновлено 2026-10-08 📅 Создано 2026-09-17
95
receptron/laya

Запускайте Laya — модель принятия решений System-1 с открытым исходным кодом, совместимую с Jev, — из Node.js / TypeScript через ONNX Runtime

receptron
⭐ 1,092 TypeScript 👤 receptron Organization 🕐 Обновлено 2026-10-17 📅 Создано 2026-09-19
96
Helldez/BigMoeOnEdge

Запускайте MoE-модели, превышающие объём вашей оперативной памяти. MoE передового уровня на телефоне, ноутбуке или edge-устройстве. Без потерь, на стандартном llama.cpp. Адаптивный потоковый оптимизатор. Любое оборудование, любая ОС, любая модель и квантование — через локальный сервер, совместимый с OpenAI.

Helldez
⭐ 1,066 C++ 👤 Helldez User 🕐 Обновлено 2026-11-21 📅 Создано 2026-07-10
97
jjang-ai/mlxstudio

MLX Studio — самый простой способ запускать большие языковые модели на Mac. Универсальный движок.

jjang-ai
⭐ 992 👤 jjang-ai User 🕐 Обновлено 2026-11-07 📅 Создано 2026-03-05
98
efeslab/Nanoflow

Ориентированный на пропускную способность высокопроизводительный фреймворк для обслуживания LLM

efeslab
⭐ 978 Jupyter Notebook 👤 efeslab Organization 🕐 Обновлено 2026-03-29 📅 Создано 2024-08-19
99
openvinotoolkit/model_server

Масштабируемый сервер вывода для моделей, оптимизированных с помощью OpenVINO™

openvinotoolkit
⭐ 961 C++ 👤 openvinotoolkit Organization 🕐 Обновлено 2026-11-21 📅 Создано 2018-09-26
100
huawei-noah/bolt

Bolt — это библиотека глубокого обучения с высокой производительностью и гетерогенной гибкостью.

huawei-noah
⭐ 958 C++ 👤 huawei-noah Organization 🕐 Обновлено 2025-04-11 📅 Создано 2019-12-02