Git Stars Git Stars

#inference-engine Репозитории

Откройте для себя 40 активных репозиториев с открытым исходным кодом на GitHub, отмеченных тегом #inference-engine, с общим числом 102,063 звёзд (в среднем 2,551 на проект). Лидером этой темы является huggingface/candle, набравший 21,367 звёзд.

40
Всего репозиториев
102,063
Всего звезд
2,551
Среднее количество звезд на репозиторий

Всего репозиториев: 40

1
huggingface/candle

Минималистичный ML-фреймворк для Rust

huggingface
⭐ 21,367 Rust 👤 huggingface Organization 🕐 Обновлено 2026-11-19 📅 Создано 2023-06-19
2
halfrost/Halfrost-Field

✍🏻 Глубокое погружение в исходный код, проектирование систем и инженерные блоги | Halfrost-Field: Заметки по анализу исходного кода, проектированию систем и инженерной практике

halfrost
⭐ 13,259 Go 👤 halfrost User 🕐 Обновлено 2026-11-10 📅 Создано 2017-04-02
3
FareedKhan-dev/kimi-k3-in-c

Модель Kimi K3 с 2,78 триллионами параметров, выполняющая логический вывод на одном процессоре с 8,24 ГБ оперативной памяти. Портативный C99: без BLAS, без фреймворков, без GPU.

FareedKhan-dev
⭐ 12,523 C 👤 FareedKhan-dev User 🕐 Обновлено 2026-11-16 📅 Создано 2026-08-01
4
bbycroft/llm-viz

3D-визуализация LLM в стиле GPT

bbycroft
⭐ 5,599 TypeScript 👤 bbycroft User 🕐 Обновлено 2026-08-10 📅 Создано 2023-03-01
5
FedML-AI/FedML

FEDML – Единая и масштабируемая ML-библиотека для крупномасштабного распределенного обучения, обслуживания моделей и федеративного обучения. FEDML Launch, кросс-облачный планировщик, позволяет запускать любые ИИ-задания в любом облаке GPU или локальном кластере. TensorOpera AI (https://TensorOpera.ai), построенная на основе этой библиотеки, — это ваша платформа генеративного ИИ в больших масштабах.

FedML-AI
⭐ 4,068 Python 👤 FedML-AI Organization 🕐 Обновлено 2026-11-12 📅 Создано 2020-07-21
6
zjhellofss/KuiperInfer

Отличные проекты для ярмарок вакансий, осеннего и весеннего набора, стажировок! Пошаговое руководство по созданию высокопроизводительной библиотеки для инференса глубокого обучения, поддерживающей инференс больших моделей, таких как Llama2, Unet, YoloV5, Resnet и других. Реализуйте высокопроизводительную библиотеку для инференса глубокого обучения шаг за шагом.

zjhellofss
⭐ 3,444 C++ 👤 zjhellofss User 🕐 Обновлено 2025-06-22 📅 Создано 2022-11-21
7
Luce-Org/lucebox

Движок инференса Lucebox для гетерогенного оборудования и потребительских GPU

Luce-Org
⭐ 3,024 C++ 👤 Luce-Org Organization 🕐 Обновлено 2026-11-21 📅 Создано 2026-04-03
8
xdit-project/xDiT

xDiT: Масштабируемый движок вывода для диффузионных трансформеров (DiTs) с массивным параллелизмом

xdit-project
⭐ 2,755 Python 👤 xdit-project Organization 🕐 Обновлено 2026-11-20 📅 Создано 2024-03-19
9
youssofal/MTPLX

Самый быстрый способ запускать Qwen 3.8 Flash Next, Qwen 3.8 27B и Ternary Bonsai 2 27B на Mac: 125 токенов/с в OpenCode на M5 Max и модель 27B на Mac с 16 ГБ памяти. Нативное спекулятивное декодирование MTP на Apple Silicon, точность при любой температуре. Локальный сервер, совместимый с OpenAI и Anthropic.

youssofal
⭐ 2,729 Python 👤 youssofal User 🕐 Обновлено 2026-11-21 📅 Создано 2026-05-02
10
hyperjumptech/grule-rule-engine

Реализация движка правил на Golang

hyperjumptech
⭐ 2,539 Go 👤 hyperjumptech Organization 🕐 Обновлено 2026-02-10 📅 Создано 2019-12-13
11
datawhalechina/zero-to-sglang

Официальный курс SGLang x Datawhale по инференсу LLM: разберитесь в инференсе, создайте мини-SGLang с нуля, затем изучите настоящий исходный код SGLang и отправьте свой первый PR. Доступен на английском и китайском языках.

datawhalechina
⭐ 2,306 Python 👤 datawhalechina Organization 🕐 Обновлено 2026-11-17 📅 Создано 2026-08-27
12
ovg-project/kvcached

Виртуализированный эластичный KV-кэш для динамического совместного использования GPU и не только

ovg-project
⭐ 2,051 Python 👤 ovg-project Organization 🕐 Обновлено 2026-11-20 📅 Создано 2025-05-27
13
siliconflow/onediff

OneDiff: готовая к использованию библиотека ускорения для диффузионных моделей.

siliconflow
⭐ 1,961 Jupyter Notebook 👤 siliconflow Organization 🕐 Обновлено 2025-12-04 📅 Создано 2022-09-21
14
dphnAI/sonar

Масштабируемый движок вывода LLM

dphnAI
⭐ 1,911 Python 👤 dphnAI Organization 🕐 Обновлено 2026-11-17 📅 Создано 2023-06-23
15
nobodywho-ooo/nobodywho

NobodyWho — это механизм вывода, который позволяет вам локально и эффективно запускать LLM на любом устройстве.

nobodywho-ooo
⭐ 1,699 Rust 👤 nobodywho-ooo Organization 🕐 Обновлено 2026-11-19 📅 Создано 2024-09-03
16
xLLM-AI/xllm

Высокопроизводительный механизм инференса для моделей LLM, VLM и DiT, оптимизированный для различных ИИ-ускорителей. Проект размещён в фонде OpenAtom Foundation.

xLLM-AI
⭐ 1,626 C++ 👤 xLLM-AI Organization 🕐 Обновлено 2026-11-21 📅 Создано 2025-08-12
17
peonist-ai/halogen-flash-server

Локальный инференс с поведением, как у передового API: Qwen3.8-Flash-Next на AMD Strix Halo и небольшие модели для NPU — через API OpenAI и Anthropic на одном порту.

peonist-ai
⭐ 1,412 Shell 👤 peonist-ai Organization 🕐 Обновлено 2026-11-18 📅 Создано 2026-08-26
18
simplexai-labs/PolyStrata

Запускайте большие ИИ-модели на собственном ПК: Qwen3.8-Flash-Next на движке Strata, а GLM 5.3 Flash, DeepSeek V4 Flash, LFM2.5, Qwen3.6, Ornith 1.5, Gemma 4, Tiel Coder и MiniCPM-V — на втором движке, созданном для PolyStrata. Установка в один клик для Windows и Linux, API OpenAI/Anthropic на localhost.

simplexai-labs
⭐ 1,324 C++ 👤 simplexai-labs Organization 🕐 Обновлено 2026-11-18 📅 Создано 2026-10-06
19
qualcomm/ai-hub-models

Qualcomm® AI Hub Models — это наша коллекция передовых моделей машинного обучения, оптимизированных для обеспечения производительности (задержка, память и т. д.) и готовых к развертыванию на устройствах Qualcomm®.

qualcomm
⭐ 1,269 Python 👤 qualcomm Organization 🕐 Обновлено 2026-11-21 📅 Создано 2023-12-20
20
RainBowLuoCS/Gamer

Официальная реализация Gamer: универсальная базовая модель «зрение — язык — действие» для игровых агентов реального времени с долгосрочным горизонтом

RainBowLuoCS
⭐ 1,179 👤 RainBowLuoCS User 🕐 Обновлено 2026-11-16 📅 Создано 2026-10-30
21
PaddlePaddle/Paddle.js

Paddle.js — это веб-проект для Baidu PaddlePaddle, фреймворка глубокого обучения с открытым исходным кодом, работающего в браузере. Paddle.js может загружать предварительно обученную модель или преобразовывать модель из paddle-hub с помощью инструментов преобразования моделей, предоставляемых Paddle.js. Он может работать в любом браузере с поддержкой WebGL/WebGPU/WebAssembly. Он также может работать в Baidu Smartprogram и WX miniprogram.

PaddlePaddle
⭐ 1,071 JavaScript 👤 PaddlePaddle Organization 🕐 Обновлено 2024-04-03 📅 Создано 2020-03-26
22
wangeai/K3Flight

Запустите Kimi K3 локально на процессоре с использованием около 55 ГБ оперативной памяти во время выполнения. Однофайловый сервер логического вывода для Linux на базе cPilot Runtime.

wangeai
⭐ 1,019 HTML 👤 wangeai Organization 🕐 Обновлено 2026-07-31 📅 Создано 2026-07-30
23
jjang-ai/mlxstudio

MLX Studio — самый простой способ запускать большие языковые модели на Mac. Универсальный движок.

jjang-ai
⭐ 992 👤 jjang-ai User 🕐 Обновлено 2026-11-07 📅 Создано 2026-03-05
24
zhihu/ZhiLight

Высокооптимизированный движок ускорения вывода LLM для Llama и его вариантов.

zhihu
⭐ 906 C++ 👤 zhihu Organization 🕐 Обновлено 2026-03-18 📅 Создано 2024-12-06
25
insight-platform/Savant

Python фреймворк для компьютерного зрения и видеоаналитики "все включено"

insight-platform
⭐ 868 Python 👤 insight-platform Organization 🕐 Обновлено 2026-09-23 📅 Создано 2022-05-07
26
mit-han-lab/omniserve

[MLSys'25] QServe: W4A8KV4 Квантование и совместное проектирование системы для эффективной подачи LLM; [MLSys'25] LServe: Эффективная подача LLM для длинных последовательностей с унифицированным разреженным вниманием

mit-han-lab
⭐ 840 C++ 👤 mit-han-lab Organization 🕐 Обновлено 2025-03-06 📅 Создано 2024-05-06
27
pegainfer-project/pegainfer

Чистый движок вывода LLM на Rust + CUDA — без PyTorch, совместим с OpenAI, обслуживает от Qwen3 до Kimi-K2

pegainfer-project
⭐ 748 Rust 👤 pegainfer-project Organization 🕐 Обновлено 2026-11-21 📅 Создано 2026-02-17
28
ARahim3/mlx-dspark

Декодирование LLM на Apple Silicon до 4× быстрее, без потери качества. Нативный порт на MLX спекулятивного декодирования DSpark от DeepSeek и DFlash от z-lab — Gemma-4, Qwen3.8, Muse-Glimmer, Nemotron, LFM2.5, Ornith-1.0 и тернарная Bonsai-27B.

ARahim3
⭐ 743 Python 👤 ARahim3 User 🕐 Обновлено 2026-11-08 📅 Создано 2026-06-29
29
prabanta-dev/janas

37 ток/с на Qwen3-Next-80B (48 ГБ) на ноутбуке с 32 ГБ памяти; 24 ток/с без черновой генерации против 2,8 у llama.cpp; скорость чтения — 62 против 16 ток/с. Быстрее llama.cpp на всех 13 моделях, сравнивавшихся в Q4_K_M. Запускайте LLM, превышающие объём вашей RAM, на чистом C — на CPU или GPU.

prabanta-dev
⭐ 738 C 👤 prabanta-dev Organization 🕐 Обновлено 2026-11-20 📅 Создано 2026-09-20
30
zhongkaifu/TensorSharp

Нативный .NET-движок инференса больших языковых моделей (LLM) и среда выполнения агентов для моделей GGUF. TensorSharp предоставляет консольное приложение, веб-интерфейс чат-бота, приложение для iPhone, а также совместимые с Ollama/OpenAI HTTP API для программного доступа. Поддерживаются Windows, macOS, iOS и Linux с полноценной поддержкой GPU.

zhongkaifu
⭐ 681 C# 👤 zhongkaifu User 🕐 Обновлено 2026-11-20 📅 Создано 2026-04-03
31
carloslfu/slotstream

Запускайте ИИ-модель размером 105 ГБ на Mac, на котором она не помещается целиком. Qwen3.8-Flash-Next в 4-битном формате загружается потоком с SSD на компьютерах Mac с Apple Silicon и 16–64 ГБ памяти. Полностью нативная реализация на Swift, MLX и Metal. Работает офлайн, без Python. CLI, библиотека Swift и API Ollama/OpenAI/Anthropic. Совместима с Claude Code и Codex.

carloslfu
⭐ 674 Swift 👤 carloslfu User 🕐 Обновлено 2026-11-17 📅 Создано 2026-08-28
32
andrewkchan/yalm

Еще одна языковая модель: вывод LLM на C++/CUDA, никаких библиотек, кроме ввода-вывода

andrewkchan
⭐ 597 C++ 👤 andrewkchan User 🕐 Обновлено 2025-09-13 📅 Создано 2024-10-02
33
pylint-dev/astroid

Общее базовое представление исходного кода Python для pylint и других проектов

pylint-dev
⭐ 589 Python 👤 pylint-dev Organization 🕐 Обновлено 2026-11-20 📅 Создано 2015-12-08
34
zjhellofss/KuiperLLama

Школьный набор, осенний набор, весенний набор, отличные стажировки, поможем вам с нуля реализовать фреймворк для инференса больших моделей с поддержкой Llama2/3 и Qwen2.5.

zjhellofss
⭐ 581 C++ 👤 zjhellofss User 🕐 Обновлено 2025-10-28 📅 Создано 2024-04-25
35
StartLuxLabs/StartLux-Prism

Быстрый и точный вывод для моделей StartLux-Decision на GPU NVIDIA: опубликованные файлы GGUF работают на тензорных ядрах int8 и 4-битных ядрах через API /v1/systemone, обеспечивая в FP8 задержку до 5,3 раза ниже, чем у vLLM, при побитово идентичных ответах.

StartLuxLabs
⭐ 560 Python 👤 StartLuxLabs Organization 🕐 Обновлено 2026-10-27 📅 Создано 2026-10-13
36
zengxiao-he/tessera

От учителя к плиткам — движок дистилляции и обслуживания LLM, созданный с нуля: пользовательские ядра Triton/CUDA, дистилляция FSDP, пакетная обработка с непрерывным KV-кэшированием, спекулятивное декодирование, шлюз на Rust, оракул JAX и инструменты интерпретируемости.

zengxiao-he
⭐ 556 Python 👤 zengxiao-he User 🕐 Обновлено 2026-10-09 📅 Создано 2026-06-05
37
SearchSavior/OpenArc

Механизм логического вывода для устройств Intel. Обслуживание моделей LLM, VLM, Whisper, Kokoro-TTS, Embedding и Rerank через эндпоинты OpenAI.

SearchSavior
⭐ 551 Python 👤 SearchSavior User 🕐 Обновлено 2026-11-21 📅 Создано 2025-02-11
38
OmniJev/Flide

🔥🔥 Сверхбыстрый механизм вывода для моделей принятия решений

OmniJev
⭐ 550 Python 👤 OmniJev Organization 🕐 Обновлено 2026-11-21 📅 Создано 2026-10-24
39
Generated-Computers/Locals

Запускайте несколько ИИ-агентов одновременно на Mac — до 3 раз быстрее.

Generated-Computers
⭐ 538 Python 👤 Generated-Computers Organization 🕐 Обновлено 2026-11-21 📅 Создано 2026-10-12
40
brontoguana/krasis

Krasis — это гибридная среда выполнения LLM, ориентированная на эффективный запуск больших моделей на потребительском оборудовании с ограниченным объемом видеопамяти

brontoguana
⭐ 530 C++ 👤 brontoguana User 🕐 Обновлено 2026-11-12 📅 Создано 2026-02-09

Часто задаваемые вопросы

1

Какой репозиторий по теме #inference-engine наиболее популярен на GitHub?

Самый высоко оценённый проект с открытым исходным кодом по теме #inference-engine на GitHub — huggingface/candle, набравший 21,367 звёзд. Минималистичный ML-фреймворк для Rust

2

Какие языки программирования чаще всего используются в репозиториях по теме #inference-engine?

Среди наиболее высоко оценённых проектов по теме #inference-engine на GitHub чаще всего используются языки программирования Python, C++, Rust, Go.

3

Как рассчитывается рейтинг репозиториев по теме #inference-engine?

Мы отслеживаем 40 активных репозиториев с открытым исходным кодом, отмеченных тегом #inference-engine (500 и более звёзд), с общим числом 102,063 звёзд и в среднем 2,551 звёзд на репозиторий. Рейтинги обновляются ежедневно на основе данных GitHub API.