Git Stars Git Stars

#inference Репозитории

144
Всего репозиториев
870,238
Всего звезд
6,043
Среднее количество звезд на репозиторий

Всего репозиториев: 144

101
OpenIntroStat/ims

📚 Введение в современную статистику - Открытый учебник университетского уровня с современным подходом, подчеркивающим многомерные взаимосвязи и вывод на основе симуляций.

OpenIntroStat
⭐ 957 JavaScript 👤 OpenIntroStat Organization 🕐 Обновлено 2026-11-18 📅 Создано 2015-07-13
102
alvarobartt/hf-mem

CLI-инструмент для оценки требований к памяти инференса для моделей Hugging Face, написанный на Python.

alvarobartt
⭐ 956 Python 👤 alvarobartt User 🕐 Обновлено 2026-11-20 📅 Создано 2025-12-22
103
uber/neuropod

Единый интерфейс для запуска моделей глубокого обучения из нескольких фреймворков

uber
⭐ 941 C++ 👤 uber Organization 🕐 Обновлено 2024-01-03 📅 Создано 2019-01-23
104
TrenTorch/TrenTorch

Не заучивайте машинное обучение. Разберитесь в нём с первых принципов, включая инференс, CUDA, глубокое обучение, науку о данных и обучение с подкреплением.

TrenTorch
⭐ 867 Python 👤 TrenTorch Organization 🕐 Обновлено 2026-11-21 📅 Создано 2026-08-21
105
PABannier/bark.cpp

Модель Bark от Suno AI на C/C++ для быстрой генерации речи из текста

PABannier
⭐ 850 C++ 👤 PABannier User 🕐 Обновлено 2024-11-16 📅 Создано 2023-07-01
106
triton-inference-server/pytriton

PyTriton — это интерфейс, похожий на Flask/FastAPI, который упрощает развертывание Triton в средах Python.

triton-inference-server
⭐ 847 Python 👤 triton-inference-server Organization 🕐 Обновлено 2025-08-13 📅 Создано 2022-11-08
107
cyrusbehr/tensorrt-cpp-api

Руководство по C++ API TensorRT

cyrusbehr
⭐ 813 C++ 👤 cyrusbehr User 🕐 Обновлено 2026-05-30 📅 Создано 2021-10-25
108
fudan-generative-vision/Remory

Remory: обучение остаточной памяти для сжатия контекста

fudan-generative-vision
⭐ 809 Python 👤 fudan-generative-vision Organization 🕐 Обновлено 2026-11-09 📅 Создано 2026-10-07
109
serizba/cppflow

Запуск моделей TensorFlow в C++ без установки и без Bazel

serizba
⭐ 809 C++ 👤 serizba User 🕐 Обновлено 2024-08-16 📅 Создано 2019-05-16
110
SharpAI/SwiftLM

⚡ Нативный сервер вывода MLX Swift LLM для Apple Silicon. API, совместимый с OpenAI, потоковая передача с SSD для моделей MoE 100B+, сжатие TurboQuant KV-кеша, приложение для MACOS + iOS iPhone.

SharpAI
⭐ 802 Swift 👤 SharpAI Organization 🕐 Обновлено 2026-11-19 📅 Создано 2026-03-21
111
pipeless-ai/pipeless

Фреймворк компьютерного зрения с открытым исходным кодом для создания и развертывания приложений за считанные минуты

pipeless-ai
⭐ 794 Rust 👤 pipeless-ai Organization 🕐 Обновлено 2024-05-08 📅 Создано 2023-07-21
112
emlearn/emlearn

Движок вывода машинного обучения для микроконтроллеров и встраиваемых устройств

emlearn
⭐ 776 Python 👤 emlearn Organization 🕐 Обновлено 2026-11-10 📅 Создано 2018-03-16
113
rnchg/APT

Инструмент для повышения производительности с помощью ИИ – Бесплатный и с открытым исходным кодом, повышает производительность пользователей, а также защищает конфиденциальность и безопасность данных. Включает, но не ограничивается: встроенные локальные эксклюзивные модели ChatGPT, DeepSeek, Phi, Qwen и другие, интеллектуальную пакетную обработку изображений, видео, аудио и т. д. одним щелчком мыши.

rnchg
⭐ 768 C# 👤 rnchg User 🕐 Обновлено 2025-12-13 📅 Создано 2024-06-19
114
h2non/filetype.py

Маленький, без зависимостей, быстрый пакет Python для определения типов бинарных файлов путём проверки сигнатуры магических чисел

h2non
⭐ 766 Python 👤 h2non User 🕐 Обновлено 2025-05-02 📅 Создано 2016-06-18
115
stamparm/identYwaf

Инструмент идентификации слепого WAF

stamparm
⭐ 758 Python 👤 stamparm User 🕐 Обновлено 2026-09-10 📅 Создано 2019-01-10
116
aws/studio-lab-examples

Примерные ноутбуки для работы с SageMaker Studio Lab. Зарегистрируйтесь для получения учетной записи по ссылке ниже!

aws
⭐ 753 Jupyter Notebook 👤 aws Organization 🕐 Обновлено 2024-08-24 📅 Создано 2021-11-23
117
pegainfer-project/pegainfer

Чистый движок вывода LLM на Rust + CUDA — без PyTorch, совместим с OpenAI, обслуживает от Qwen3 до Kimi-K2

pegainfer-project
⭐ 748 Rust 👤 pegainfer-project Organization 🕐 Обновлено 2026-11-21 📅 Создано 2026-02-17
118
MegEngine/InferLLM

легковесный фреймворк для инференса LLM-моделей

MegEngine
⭐ 746 C++ 👤 MegEngine Organization 🕐 Обновлено 2024-04-07 📅 Создано 2023-05-04
119
hidet-org/hidet

Оптимизированный фреймворк/компилятор для глубокого обучения с открытым исходным кодом, написанный на Python.

hidet-org
⭐ 742 Python 👤 hidet-org Organization 🕐 Обновлено 2025-09-04 📅 Создано 2022-01-04
120
microsoft/vidur

Точный, крупномасштабный и расширяемый симулятор для систем вывода LLM

microsoft
⭐ 733 Python 👤 microsoft Organization 🕐 Обновлено 2026-08-24 📅 Создано 2023-11-02
121
zhiqwang/yolort

yolort - это стек времени выполнения для yolov5 на специализированных ускорителях, таких как tensorrt, libtorch, onnxruntime, tvm и ncnn.

zhiqwang
⭐ 730 Python 👤 zhiqwang User 🕐 Обновлено 2026-04-10 📅 Создано 2020-08-14
122
intel/ai-reference-models

Intel® AI Reference Models: содержит оптимизации Intel для запуска рабочих нагрузок глубокого обучения на процессорах Intel® Xeon® Scalable и Intel® Data Center GPUs

intel
⭐ 728 Python 👤 intel Organization 🕐 Обновлено 2026-02-11 📅 Создано 2018-10-23
123
privacytrustlab/ml_privacy_meter

Privacy Meter: Библиотека с открытым исходным кодом для аудита конфиденциальности данных в статистических алгоритмах и алгоритмах машинного обучения.

privacytrustlab
⭐ 715 Jupyter Notebook 👤 privacytrustlab Organization 🕐 Обновлено 2025-04-26 📅 Создано 2020-04-08
124
DerwenAI/kglab

Graph Data Science: уровень абстракции на Python для создания графов знаний, интегрированный с популярными библиотеками графов – поверх Pandas, NetworkX, RAPIDS, RDFlib, pySHACL, PyVis, morph-kgc, pslpython, pyarrow и др.

DerwenAI
⭐ 696 Jupyter Notebook 👤 DerwenAI Organization 🕐 Обновлено 2026-01-25 📅 Создано 2020-10-25
125
kossisoroyce/timber

Ollama для классических моделей ML. Компилятор AOT, который преобразует модели XGBoost, LightGBM, scikit-learn, CatBoost и ONNX в нативный код вывода C99. Одна команда для загрузки, одна команда для обслуживания. В 336 раз быстрее, чем вывод на Python.

kossisoroyce
⭐ 692 Python 👤 kossisoroyce User 🕐 Обновлено 2026-04-16 📅 Создано 2026-02-27
126
zhongkaifu/TensorSharp

Нативный .NET-движок инференса больших языковых моделей (LLM) и среда выполнения агентов для моделей GGUF. TensorSharp предоставляет консольное приложение, веб-интерфейс чат-бота, приложение для iPhone, а также совместимые с Ollama/OpenAI HTTP API для программного доступа. Поддерживаются Windows, macOS, iOS и Linux с полноценной поддержкой GPU.

zhongkaifu
⭐ 681 C# 👤 zhongkaifu User 🕐 Обновлено 2026-11-20 📅 Создано 2026-04-03
127
AntonMu/TrainYourOwnYOLO

Обучите детектор объектов yolov3 мирового уровня с нуля!

AntonMu
⭐ 673 Jupyter Notebook 👤 AntonMu User 🕐 Обновлено 2024-08-02 📅 Создано 2019-07-17
128
Nehanth/pooled

P2P-инференс LLM в браузере: объединяйте свои устройства, чтобы запускать большие открытые модели для чат- и кодинговых агентов.

Nehanth
⭐ 658 JavaScript 👤 Nehanth User 🕐 Обновлено 2026-11-03 📅 Создано 2026-09-01
129
xboot/libonnx

Легкий, портативный движок вывода ONNX на чистом C99 для встраиваемых устройств с поддержкой аппаратного ускорения.

xboot
⭐ 657 C 👤 xboot Organization 🕐 Обновлено 2026-07-07 📅 Создано 2020-10-14
130
open-edge-platform/dlstreamer

Deep Learning Streamer (DL Streamer) Pipeline Framework — это фреймворк с открытым исходным кодом для аналитики потокового мультимедиа, основанный на мультимедийном фреймворке GStreamer*, предназначенный для создания сложных конвейеров медиааналитики для облака или периферийных вычислений (Edge).

open-edge-platform
⭐ 648 C++ 👤 open-edge-platform Organization 🕐 Обновлено 2026-11-20 📅 Создано 2019-03-13
131
WaveSpeedAI/waverless

Высокопроизводительная бессерверная оркестрация задач GPU — уровень планирования, лежащий в основе wavespeed.ai

WaveSpeedAI
⭐ 635 Go 👤 WaveSpeedAI Organization 🕐 Обновлено 2026-08-21 📅 Создано 2025-10-16
132
therealoliver/Deepdive-llama3-from-scratch

Достигните пошагового вывода llama3, усвойте основные концепции, освойте вывод процесса, реализуйте код.

therealoliver
⭐ 629 Jupyter Notebook 👤 therealoliver User 🕐 Обновлено 2025-02-24 📅 Создано 2025-02-19
133
Rudrabha/LipGAN

Этот репозиторий содержит коды для LipGAN. LipGAN был опубликован как часть статьи под названием "Towards Automatic Face-to-Face Translation".

Rudrabha
⭐ 617 Python 👤 Rudrabha User 🕐 Обновлено 2025-06-22 📅 Создано 2020-01-02
134
grimoire/mmdetection-to-tensorrt

Преобразовать модель MMDetection в TensorRT, поддержка fp16, int8, пакетного ввода, динамической формы и т. д.

grimoire
⭐ 598 Python 👤 grimoire User 🕐 Обновлено 2024-02-18 📅 Создано 2020-07-12
135
agentic-in/inferoa

Нативный для инференса агентский каркас для максимизации токенов в инженерии циклов

agentic-in
⭐ 570 TypeScript 👤 agentic-in Organization 🕐 Обновлено 2026-06-18 📅 Создано 2026-06-08
136
spark-arena/sparkrun

sparkrun — запускайте, управляйте и останавливайте рабочие нагрузки вывода LLM на системах NVIDIA DGX Spark. Поддержка в реальном времени: https://discord.com/invite/GH5kRgv6ZD

spark-arena
⭐ 567 Python 👤 spark-arena Organization 🕐 Обновлено 2026-11-17 📅 Создано 2026-02-16
137
Koldim2001/YOLO-Patch-Based-Inference

Библиотека Python для обнаружения мелких объектов YOLO и сегментации экземпляров

Koldim2001
⭐ 562 Python 👤 Koldim2001 User 🕐 Обновлено 2026-04-22 📅 Создано 2024-03-04
138
dllm-labs/mojo-dllm

Локальный инференс для диффузионных языковых моделей (LLaDA, Dream), написанный на Mojo

dllm-labs
⭐ 546 Python 👤 dllm-labs Organization 🕐 Обновлено 2026-11-20 📅 Создано 2026-10-04
139
kaito-project/aikit

🏗️ Легко настраивайте, создавайте и развертывайте LLM с открытым исходным кодом!

kaito-project
⭐ 545 Go 👤 kaito-project Organization 🕐 Обновлено 2026-11-16 📅 Создано 2023-09-20
140
kubedl-io/kubedl

Запускайте свои задачи глубокого обучения на Kubernetes проще и эффективнее.

kubedl-io
⭐ 533 Go 👤 kubedl-io Organization 🕐 Обновлено 2024-03-04 📅 Создано 2019-12-10
141
triton-inference-server/model_analyzer

Triton Model Analyzer — это инструмент командной строки (CLI), помогающий лучше понять требования к вычислительным ресурсам и памяти для моделей Triton Inference Server.

triton-inference-server
⭐ 531 Python 👤 triton-inference-server Organization 🕐 Обновлено 2026-11-17 📅 Создано 2020-09-01
142
NVIDIA-ISAAC-ROS/isaac_ros_pose_estimation

Оценка позы 3D-объектов на основе глубокого обучения с ускорением NVIDIA

NVIDIA-ISAAC-ROS
⭐ 520 C++ 👤 NVIDIA-ISAAC-ROS Organization 🕐 Обновлено 2026-11-18 📅 Создано 2021-11-04
143
mithril-security/blindai

Конфиденциальное развертывание ИИ с безопасными анклавами :lock:

mithril-security
⭐ 512 Rust 👤 mithril-security Organization 🕐 Обновлено 2024-03-19 📅 Создано 2022-02-06
144
vectorch-ai/ScaleLLM

Высокопроизводительная система вывода для больших языковых моделей, предназначенная для производственных сред.

vectorch-ai
⭐ 502 C++ 👤 vectorch-ai Organization 🕐 Обновлено 2025-12-19 📅 Создано 2023-07-24