Git Stars Git Stars

#inference-optimization Репозитории

Откройте для себя 41 активных репозиториев с открытым исходным кодом на GitHub, отмеченных тегом #inference-optimization, с общим числом 86,309 звёзд (в среднем 2,105 на проект). Лидером этой темы является lllyasviel/stable-diffusion-webui-forge, набравший 12,902 звёзд.

41
Всего репозиториев
86,309
Всего звезд
2,105
Среднее количество звезд на репозиторий

Всего репозиториев: 41

2
THUDM/slime

slime — это фреймворк для обучения LLM, предназначенный для масштабирования обучения с подкреплением.

THUDM
⭐ 8,856 Python 👤 THUDM Organization 🕐 Обновлено 2026-11-05 📅 Создано 2025-06-18
3
deepseek-ai/open-infra-index

Протестированные в производстве инструменты инфраструктуры ИИ для эффективной разработки AGI и управляемых сообществом инноваций

deepseek-ai
⭐ 8,007 👤 deepseek-ai Organization 🕐 Обновлено 2025-05-15 📅 Создано 2025-02-21
4
microsoft/LLMLingua

[EMNLP'23, ACL'24] Чтобы ускорить вывод LLM и улучшить восприятие LLM ключевой информации, сожмите промпт и KV-Cache, что обеспечит сжатие до 20 раз с минимальной потерей производительности.

microsoft
⭐ 6,846 Python 👤 microsoft Organization 🕐 Обновлено 2026-11-09 📅 Создано 2023-07-07
5
QwenLM/Qwen3.8

Qwen3.8 — это серия больших языковых моделей, разработанная командой Qwen компании Alibaba Group.

QwenLM
⭐ 4,459 👤 QwenLM Organization 🕐 Обновлено 2026-08-17 📅 Создано 2025-09-11
7
syv-ai/HyperQwen

Быстро обслуживайте большие модели Qwen на тех GPU, которыми вы действительно располагаете. Qwen3.8-27B на одной карте объёмом 24 ГБ с vLLM: 127 ток/с для одного пользователя (381, когда ответ цитирует промпт), около 1 035 ток/с при 64 одновременных запросах, контекст 150k–262k. Патчи для vLLM, конвейер повторной квантизации и бенчмарки.

syv-ai
⭐ 2,778 Python 👤 syv-ai Organization 🕐 Обновлено 2026-11-10 📅 Создано 2026-08-15
8
google/XNNPACK

Высокоэффективные операторы вывода нейронных сетей с плавающей запятой для мобильных устройств, серверов и Интернета

google
⭐ 2,506 C 👤 google Organization 🕐 Обновлено 2026-11-21 📅 Создано 2019-09-13
9
XiaomiMiMo/MiMo

MiMo: Раскрытие потенциала рассуждений языковой модели – от предварительного обучения до пост-обучения

XiaomiMiMo
⭐ 2,411 Python 👤 XiaomiMiMo Organization 🕐 Обновлено 2026-10-29 📅 Создано 2025-04-26
10
AmberLJC/LLMSys-PaperList

Список статей по системам больших языковых моделей (LLM)

AmberLJC
⭐ 2,332 Python 👤 AmberLJC User 🕐 Обновлено 2026-10-20 📅 Создано 2023-06-06
11
facebookresearch/blt

Код для исследовательской статьи BLT

facebookresearch
⭐ 2,070 Python 👤 facebookresearch Organization 🕐 Обновлено 2025-11-03 📅 Создано 2024-12-09
12
NUS-HPC-AI-Lab/VideoSys

VideoSys: Простая и эффективная система для генерации видео

NUS-HPC-AI-Lab
⭐ 2,022 Python 👤 NUS-HPC-AI-Lab Organization 🕐 Обновлено 2025-08-27 📅 Создано 2024-02-17
13
NVIDIA/Stable-Diffusion-WebUI-TensorRT

Расширение TensorRT для Stable Diffusion Web UI

NVIDIA
⭐ 1,994 Python 👤 NVIDIA Organization 🕐 Обновлено 2024-06-14 📅 Создано 2023-10-10
14
ChenyangSi/FreeU

FreeU: Бесплатный обед в Diffusion U-Net (CVPR2024 Oral)

ChenyangSi
⭐ 1,892 👤 ChenyangSi User 🕐 Обновлено 2024-12-24 📅 Создано 2023-09-14
15
llmgenai/LLMInterviewQuestions

Этот репозиторий содержит вопросы для собеседования по LLM (большая языковая модель), задаваемые в ведущих компаниях, таких как Google, Nvidia, Meta, Microsoft и компаниях из списка Fortune 500.

llmgenai
⭐ 1,781 👤 llmgenai User 🕐 Обновлено 2025-02-12 📅 Создано 2024-12-26
16
chengzeyi/Comfy-WaveSpeed

https://wavespeed.ai/ [WIP] Универсальное, гибкое и быстрое решение для оптимизации инференса "все в одном" для ComfyUI.

chengzeyi
⭐ 1,235 Python 👤 chengzeyi User 🕐 Обновлено 2026-08-21 📅 Создано 2024-11-27
17
EdjeElectronics/TensorFlow-Object-Detection-on-the-Raspberry-Pi

Руководство, показывающее, как настроить API Object Detection TensorFlow на Raspberry Pi

EdjeElectronics
⭐ 1,156 Python 👤 EdjeElectronics User 🕐 Обновлено 2024-08-10 📅 Создано 2018-06-05
18
gpu-mode/awesomeMLSys

Список адаптации ML-систем

gpu-mode
⭐ 1,154 👤 gpu-mode Organization 🕐 Обновлено 2026-02-19 📅 Создано 2024-05-06
19
huggingface/search-and-learn

Рецепты для масштабирования вычислений в момент вывода открытых моделей

huggingface
⭐ 1,134 Python 👤 huggingface Organization 🕐 Обновлено 2026-09-23 📅 Создано 2024-12-09
21
allenai/OLMoE

OLMoE: Открытые Языковые Модели «Смесь Экспертов»

allenai
⭐ 1,087 Jupyter Notebook 👤 allenai Organization 🕐 Обновлено 2025-09-23 📅 Создано 2024-06-22
22
onnx/onnx-mlir

Представление и понижение ссылок моделей ONNX в инфраструктуре компилятора MLIR

onnx
⭐ 1,072 MLIR 👤 onnx Organization 🕐 Обновлено 2026-11-13 📅 Создано 2020-02-18
23
mryab/efficient-dl-systems

Учебные материалы курса по эффективным системам глубокого обучения

mryab
⭐ 1,052 Jupyter Notebook 👤 mryab User 🕐 Обновлено 2026-05-28 📅 Создано 2021-12-06
24
hzwer/Practical-RIFE

Более практичный подход к интерполяции кадров.

hzwer
⭐ 1,050 Python 👤 hzwer User 🕐 Обновлено 2026-08-27 📅 Создано 2021-06-16
25
daixiangzi/Awesome-Token-Compress

Список статей о некоторых недавних работах по сжатию токенов для Vit и VLM

daixiangzi
⭐ 966 👤 daixiangzi User 🕐 Обновлено 2026-11-13 📅 Создано 2024-09-06
26
FoundationVision/Waver

Модель видео-основы отраслевого уровня для унифицированной генерации видео из текста (T2V) и из изображений (I2V).

FoundationVision
⭐ 952 👤 FoundationVision Organization 🕐 Обновлено 2025-08-27 📅 Создано 2025-08-05
27
alibaba/BladeDISC

BladeDISC — это комплексный проект компилятора динамических форм для рабочих нагрузок машинного обучения.

alibaba
⭐ 911 C++ 👤 alibaba Organization 🕐 Обновлено 2024-12-30 📅 Создано 2021-12-20
28
lifeiteng/OmniSenseVoice

Omni SenseVoice: Высокоскоростное распознавание речи с временными метками слов 🗣️🎯

lifeiteng
⭐ 897 Python 👤 lifeiteng User 🕐 Обновлено 2025-12-10 📅 Создано 2024-09-22
29
KohakuBlueleaf/a1111-sd-webui-lycoris

Расширение для stable-diffusion-webui для загрузки моделей lycoris.

KohakuBlueleaf
⭐ 894 Python 👤 KohakuBlueleaf User 🕐 Обновлено 2024-02-16 📅 Создано 2023-04-09
30
aiola-lab/whisper-medusa

Шептать с головами Медузы

aiola-lab
⭐ 860 Python 👤 aiola-lab Organization 🕐 Обновлено 2026-07-02 📅 Создано 2024-07-17
31
datawhalechina/llm-algo-leetcode

Практическое изучение алгоритмов и систем LLM с PyTorch, Triton и CUDA. «Руководство по алгоритмам и системам LLM»: архитектуры моделей и обучение, постобучение, ускорение инференса, оптимизация производительности и операторов; включает задания в Notebook, разбор ответов, тесты и эксперименты.

datawhalechina
⭐ 811 Jupyter Notebook 👤 datawhalechina Organization 🕐 Обновлено 2026-11-16 📅 Создано 2026-04-01
32
tensorflow/runtime

Производительная и модульная среда выполнения для TensorFlow

tensorflow
⭐ 754 C++ 👤 tensorflow Organization 🕐 Обновлено 2025-09-04 📅 Создано 2020-04-24
33
IEIT-Yuan/Yuan-2.0

Yuan 2.0 Большая языковая модель

IEIT-Yuan
⭐ 689 Python 👤 IEIT-Yuan Organization 🕐 Обновлено 2024-07-11 📅 Создано 2023-11-26
34
microsoft/VPTQ

VPTQ, гибкий и экстремально малобитный алгоритм квантования

microsoft
⭐ 683 Python 👤 microsoft Organization 🕐 Обновлено 2026-08-04 📅 Создано 2024-08-13
36
HybridTalentComputing/cline-chinese

Cline с китайской локализацией, Cline — это автономный помощник по программированию, работающий в вашей IDE, который с вашего разрешения может создавать/редактировать файлы, запускать команды, использовать браузер и другие функции.

HybridTalentComputing
⭐ 660 TypeScript 👤 HybridTalentComputing User 🕐 Обновлено 2026-07-14 📅 Создано 2025-02-07
38
HazyResearch/aisys-building-blocks

Строительные блоки для фундаментальных моделей.

HazyResearch
⭐ 587 👤 HazyResearch Organization 🕐 Обновлено 2024-01-03 📅 Создано 2023-11-30
39
brontoguana/krasis

Krasis — это гибридная среда выполнения LLM, ориентированная на эффективный запуск больших моделей на потребительском оборудовании с ограниченным объемом видеопамяти

brontoguana
⭐ 530 C++ 👤 brontoguana User 🕐 Обновлено 2026-11-12 📅 Создано 2026-02-09
40
amitshekhariitbhu/llm-inference-engineering

Изучайте инженерию инференса LLM шаг за шагом: от KV-кэша, PagedAttention и непрерывной пакетной обработки до vLLM, SGLang и GPU.

amitshekhariitbhu
⭐ 523 Markdown 👤 amitshekhariitbhu User 🕐 Обновлено 2026-11-09 📅 Создано 2026-08-18
41
YingqingHe/ScaleCrafter

[ICLR 2024 Spotlight] Официальная реализация ScaleCrafter для генерации изображений с более высоким разрешением во время инференса.

YingqingHe
⭐ 508 Python 👤 YingqingHe User 🕐 Обновлено 2024-03-07 📅 Создано 2023-10-07

Часто задаваемые вопросы

1

Какой репозиторий по теме #inference-optimization наиболее популярен на GitHub?

Самый высоко оценённый проект с открытым исходным кодом по теме #inference-optimization на GitHub — lllyasviel/stable-diffusion-webui-forge, набравший 12,902 звёзд.

2

Какие языки программирования чаще всего используются в репозиториях по теме #inference-optimization?

Среди наиболее высоко оценённых проектов по теме #inference-optimization на GitHub чаще всего используются языки программирования Python, Jupyter Notebook, C++, C.

3

Как рассчитывается рейтинг репозиториев по теме #inference-optimization?

Мы отслеживаем 41 активных репозиториев с открытым исходным кодом, отмеченных тегом #inference-optimization (500 и более звёзд), с общим числом 86,309 звёзд и в среднем 2,105 звёзд на репозиторий. Рейтинги обновляются ежедневно на основе данных GitHub API.