Git Stars Git Stars

#inference-acceleration Репозитории

Откройте для себя 14 активных репозиториев с открытым исходным кодом на GitHub, отмеченных тегом #inference-acceleration, с общим числом 24,811 звёзд (в среднем 1,772 на проект). Лидером этой темы является openai/consistency_models, набравший 6,461 звёзд.

14
Всего репозиториев
24,811
Всего звезд
1,772
Среднее количество звезд на репозиторий
Языки программирования: Python Cuda

Всего репозиториев: 14

1
openai/consistency_models

Официальный репозиторий для моделей согласованности.

openai
⭐ 6,461 Python 👤 openai Organization 🕐 Обновлено 2024-03-22 📅 Создано 2023-02-26
2
thu-ml/SageAttention

[ICLR2025, ICML2025, NeurIPS2025 Spotlight] Квантованное внимание (Quantized Attention) обеспечивает ускорение в 2–5 раз по сравнению с FlashAttention, не снижая сквозных (end-to-end) метрик для языковых, графических и видеомоделей.

thu-ml
⭐ 4,017 Cuda 👤 thu-ml Organization 🕐 Обновлено 2026-01-17 📅 Создано 2024-10-03
3
thu-ml/TurboDiffusion

TurboDiffusion: Ускорение видеомоделей диффузии в 100–200 раз

thu-ml
⭐ 3,870 Python 👤 thu-ml Organization 🕐 Обновлено 2026-11-04 📅 Создано 2025-12-06
4
ali-vilab/TeaCache

Встраивания временных шагов рассказывают: пришло время кэшировать для модели видеодиффузии

ali-vilab
⭐ 1,333 Python 👤 ali-vilab Organization 🕐 Обновлено 2025-06-08 📅 Создано 2024-11-27
5
meta-pytorch/segment-anything-fast

Версия segment-anything, ориентированная на пакетную офлайн-инференцию

meta-pytorch
⭐ 1,321 Python 👤 meta-pytorch Organization 🕐 Обновлено 2025-08-22 📅 Создано 2023-08-30
6
thu-ml/SpargeAttn

[ICML2025] SpargeAttention: Обучаемая разреженная модель внимания, ускоряющая вывод любых моделей.

thu-ml
⭐ 1,269 Cuda 👤 thu-ml Organization 🕐 Обновлено 2026-02-25 📅 Создано 2025-02-25
7
microsoft/MInference

[NeurIPS'24 Spotlight, ICLR'25, ICML'25] Чтобы ускорить вывод Long-context LLMs, аппроксимированныйи и динамический разреженный расчет внимания снижает задержку вывода до 10 раз при предварительном заполнении на A100, сохраняя точность.

microsoft
⭐ 1,230 Python 👤 microsoft Organization 🕐 Обновлено 2026-11-18 📅 Создано 2024-05-22
8
NVlabs/Fast-dLLM

Официальная реализация "Fast-dLLM: Бесплатное ускорение LLM диффузии путем включения KV-кэша и параллельного декодирования"

NVlabs
⭐ 1,116 Python 👤 NVlabs Organization 🕐 Обновлено 2026-05-30 📅 Создано 2025-05-27
9
Alpha-VLLM/Lumina-mGPT-2.0

Lumina-mGPT 2.0: Автономное авторегрессионное моделирование изображений

Alpha-VLLM
⭐ 1,081 Python 👤 Alpha-VLLM Organization 🕐 Обновлено 2025-11-03 📅 Создано 2025-04-03
10
AlibabaResearch/SparkDiffusion

SparkDiffusion: ускорение генерации видео DiT в 265 раз за счёт совместного применения разреживания, дистилляции, квантования и других методов

AlibabaResearch
⭐ 750 Python 👤 AlibabaResearch Organization 🕐 Обновлено 2026-10-26 📅 Создано 2026-09-18
11
OpenGVLab/DCNv4

[CVPR 2024] Deformable Convolution v4

OpenGVLab
⭐ 695 Python 👤 OpenGVLab Organization 🕐 Обновлено 2024-05-17 📅 Создано 2023-12-25
12
pkunlp-icler/FastV

[ECCV 2024 Устный доклад] Код статьи: Изображение стоит 1/2 токена после слоя 2: Ускорение вывода в режиме plug-and-play для больших визуально-языковых моделей

pkunlp-icler
⭐ 579 Python 👤 pkunlp-icler Organization 🕐 Обновлено 2025-01-04 📅 Создано 2024-03-11
13
thu-ml/SLA

SLA: За пределами разреженности в диффузионных трансформерах с помощью тонко настраиваемого разреженно-линейного внимания

thu-ml
⭐ 553 Python 👤 thu-ml Organization 🕐 Обновлено 2026-10-18 📅 Создано 2025-09-25
14
Generated-Computers/Locals

Запускайте несколько ИИ-агентов одновременно на Mac — до 3 раз быстрее.

Generated-Computers
⭐ 538 Python 👤 Generated-Computers Organization 🕐 Обновлено 2026-11-21 📅 Создано 2026-10-12

Часто задаваемые вопросы

1

Какой репозиторий по теме #inference-acceleration наиболее популярен на GitHub?

Самый высоко оценённый проект с открытым исходным кодом по теме #inference-acceleration на GitHub — openai/consistency_models, набравший 6,461 звёзд. Официальный репозиторий для моделей согласованности.

2

Какие языки программирования чаще всего используются в репозиториях по теме #inference-acceleration?

Среди наиболее высоко оценённых проектов по теме #inference-acceleration на GitHub чаще всего используются языки программирования Python, Cuda.

3

Как рассчитывается рейтинг репозиториев по теме #inference-acceleration?

Мы отслеживаем 14 активных репозиториев с открытым исходным кодом, отмеченных тегом #inference-acceleration (500 и более звёзд), с общим числом 24,811 звёзд и в среднем 1,772 звёзд на репозиторий. Рейтинги обновляются ежедневно на основе данных GitHub API.