Git Stars Git Stars

#flash-attention Репозитории

Откройте для себя 48 активных репозиториев с открытым исходным кодом на GitHub, отмеченных тегом #flash-attention, с общим числом 156,291 звёзд (в среднем 3,256 на проект). Лидером этой темы является deepseek-ai/DeepSeek-OCR, набравший 24,180 звёзд.

48
Всего репозиториев
156,291
Всего звезд
3,256
Среднее количество звезд на репозиторий
Языки программирования: Python Cuda TeX C++ Jupyter Notebook

Всего репозиториев: 48

1
deepseek-ai/DeepSeek-OCR

Контексты оптического сжатия

deepseek-ai
⭐ 24,180 Python 👤 deepseek-ai Organization 🕐 Обновлено 2026-01-27 📅 Создано 2025-10-17
2
QwenLM/Qwen

Официальный репозиторий Qwen (通义千问) — чат-бота и предварительно обученной большой языковой модели, предложенной Alibaba Cloud.

QwenLM
⭐ 22,063 Python 👤 QwenLM Organization 🕐 Обновлено 2026-03-05 📅 Создано 2023-08-03
3
xlite-dev/LeetCUDA

Книга с открытым исходным кодом, содержащая учебные заметки по современному CUDA для начинающих: BF16/FP8/FP4, HGEMM, CuTe, Flash-Attention и др.

xlite-dev
⭐ 12,208 TeX 👤 xlite-dev Organization 🕐 Обновлено 2026-11-20 📅 Создано 2022-12-17
5
InternLM/InternLM

Официальный выпуск серии InternLM (InternLM, InternLM2, InternLM2.5, InternLM3).

InternLM
⭐ 7,280 Python 👤 InternLM Organization 🕐 Обновлено 2025-10-30 📅 Создано 2023-07-06
6
ymcui/Chinese-LLaMA-Alpaca-2

Китайские большие языковые модели LLaMA-2 и Alpaca-2, Фаза II + модели с сверхдлинным контекстом 64K (Chinese LLaMA-2 & Alpaca-2 LLMs with 64K long context models)

ymcui
⭐ 7,098 Python 👤 ymcui User 🕐 Обновлено 2026-04-19 📅 Создано 2023-07-18
7
karminski/one-small-step

Это простой проект технического科普-туториала, в основном посвященный объяснению интересных, передовых технических концепций и принципов. Каждая статья должна быть прочитана за 5 минут.

karminski
⭐ 7,006 Python 👤 karminski User 🕐 Обновлено 2026-03-08 📅 Создано 2025-01-16
8
KellerJordan/modded-nanogpt

NanoGPT (124M) за 90 секунд

KellerJordan
⭐ 6,058 Python 👤 KellerJordan User 🕐 Обновлено 2026-09-28 📅 Создано 2024-06-01
9
xlite-dev/Awesome-LLM-Inference

📚Подборка отличных статей об инференсе LLM/VLM с кодами: Flash-Attention, Paged-Attention, WINT8/4, Parallelism и т.д.🎉

xlite-dev
⭐ 5,565 Python 👤 xlite-dev Organization 🕐 Обновлено 2026-10-20 📅 Создано 2023-08-27
10
turboderp-org/exllamav2

Быстрая библиотека вывода для локального запуска LLM на современных потребительских GPU

turboderp-org
⭐ 4,653 Python 👤 turboderp-org Organization 🕐 Обновлено 2026-03-04 📅 Создано 2023-08-30
11
QwenLM/Qwen3-ASR

Qwen3-ASR — это серия моделей ASR с открытым исходным кодом, разработанная командой Qwen в Alibaba Cloud, поддерживающая стабильное многоязычное распознавание речи/музыки/песен, детекцию языка и прогнозирование временных меток.

QwenLM
⭐ 3,933 Python 👤 QwenLM Organization 🕐 Обновлено 2026-06-26 📅 Создано 2026-01-28
12
HazyResearch/ThunderKittens

Примитивы плиток для быстрых ядер

HazyResearch
⭐ 3,805 Cuda 👤 HazyResearch Organization 🕐 Обновлено 2026-09-12 📅 Создано 2024-03-04
13
guandeh17/Self-Forcing

Официальный исходный код для "Self Forcing: Bridging Training and Inference in Autoregressive Video Diffusion" (NeurIPS 2025 Spotlight)

guandeh17
⭐ 3,511 Python 👤 guandeh17 User 🕐 Обновлено 2025-09-12 📅 Создано 2025-06-09
14
ikawrakow/ik_llama.cpp

Форк llama.cpp с дополнительными SOTA квантами и улучшенной производительностью

ikawrakow
⭐ 3,411 C++ 👤 ikawrakow User 🕐 Обновлено 2026-11-21 📅 Создано 2024-06-27
16
MoonshotAI/MoBA

MoBA: Смесь блочного внимания для LLM с длинным контекстом

MoonshotAI
⭐ 2,122 Python 👤 MoonshotAI Organization 🕐 Обновлено 2025-04-03 📅 Создано 2025-02-17
17
Ucas-HaoranWei/Vary

[ECCV 2024] Официальная реализация кода Vary: Масштабирование словарного запаса визуальной информации больших визуально-языковых моделей.

Ucas-HaoranWei
⭐ 1,888 Python 👤 Ucas-HaoranWei User 🕐 Обновлено 2024-12-30 📅 Создано 2023-12-07
19
allenai/Olmo-core

Строительные блоки PyTorch для экосистемы OLMo

allenai
⭐ 1,810 Python 👤 allenai Organization 🕐 Обновлено 2026-11-21 📅 Создано 2024-03-23
20
mjun0812/flash-attention-prebuild-wheels

Предоставить предсобранные колёса пакетов flash-attention 2 и 3 для Linux и Windows с использованием GitHub Actions

mjun0812
⭐ 1,798 Python 👤 mjun0812 User 🕐 Обновлено 2026-11-21 📅 Создано 2024-10-26
21
Soul-AILab/SoulX-FlashTalk

SoulX-FlashTalk — первая 14B-модель, достигшая задержки запуска менее секунды (0,87 с) при сохранении реального времени пропускной способности 32 FPS на узле 8xH800.

Soul-AILab
⭐ 1,572 Python 👤 Soul-AILab Organization 🕐 Обновлено 2026-07-30 📅 Создано 2025-12-25
23
X-Square-Robot/wall-x

Создание универсальных роботов на основе воплощенной фундаментальной модели

X-Square-Robot
⭐ 1,337 Python 👤 X-Square-Robot Organization 🕐 Обновлено 2026-09-18 📅 Создано 2025-09-04
24
weiruihhh/cs336_note_and_hw

Записать мои заметки и домашние задания во время изучения CS336.

weiruihhh
⭐ 1,305 Python 👤 weiruihhh User 🕐 Обновлено 2026-10-10 📅 Создано 2025-06-01
25
zhuzilin/ring-flash-attention

Реализация кольцевого внимания с флэш-вниманием

zhuzilin
⭐ 1,054 Python 👤 zhuzilin User 🕐 Обновлено 2025-09-10 📅 Создано 2024-02-21
26
tspeterkim/flash-attention-minimal

Flash Attention примерно в 100 строках CUDA (только прямой проход)

tspeterkim
⭐ 1,036 Cuda 👤 tspeterkim User 🕐 Обновлено 2024-12-30 📅 Создано 2024-03-07
27
NVIDIA/cudnn-frontend

cuDNN Frontend — это современная open-source точка входа NVIDIA в библиотеку cuDNN и растущую коллекцию высокопроизводительных open-source ядер.

NVIDIA
⭐ 1,008 Cuda 👤 NVIDIA Organization 🕐 Обновлено 2026-11-21 📅 Создано 2021-01-22
28
SandAI-org/MagiAttention

Распределенное внимание для линейной масштабируемости при обучении на сверхдлинных контекстах и гетерогенных данных

SandAI-org
⭐ 975 Python 👤 SandAI-org Organization 🕐 Обновлено 2026-11-21 📅 Создано 2025-04-20
29
Alpha-VLLM/Lumina-Image-2.0

Lumina-Image 2.0: Единая и эффективная основа для генерации изображений

Alpha-VLLM
⭐ 904 Python 👤 Alpha-VLLM Organization 🕐 Обновлено 2026-05-22 📅 Создано 2025-01-25
30
TRI-ML/prismatic-vlms

Гибкая и эффективная кодовая база для обучения визуально-обусловленных языковых моделей (VLM)

TRI-ML
⭐ 894 Python 👤 TRI-ML Organization 🕐 Обновлено 2024-07-04 📅 Создано 2024-02-13
31
RUCAIBox/LLMBox

Комплексная библиотека для реализации LLM, включающая унифицированный конвейер обучения и комплексную оценку моделей.

RUCAIBox
⭐ 849 Python 👤 RUCAIBox Organization 🕐 Обновлено 2025-06-16 📅 Создано 2023-10-25
32
NVlabs/rcm

rCM & Causal-rCM: Ведущие и унифицированные алгоритмы/инфраструктуры для двунаправленной/авторегрессионной дистилляции видеодиффузии в масштабе

NVlabs
⭐ 832 Python 👤 NVlabs Organization 🕐 Обновлено 2026-06-25 📅 Создано 2025-10-09
35
exiawsh/StreamPETR

[ICCV 2023] StreamPETR: Исследование объектно-ориентированного временного моделирования для эффективного многовидового 3D-детектирования объектов

exiawsh
⭐ 754 Python 👤 exiawsh User 🕐 Обновлено 2024-06-26 📅 Создано 2023-03-21
37
jzhang38/EasyContext

Оптимизация памяти и рецепты обучения для экстраполяции длины контекста языковых моделей до 1 миллиона токенов с минимальным оборудованием.

jzhang38
⭐ 751 Python 👤 jzhang38 User 🕐 Обновлено 2024-09-27 📅 Создано 2024-04-05
38
HKUSTDial/flash-sparse-attention

Обучаемое, быстрое и энергоэффективное разреженное внимание

HKUSTDial
⭐ 750 Python 👤 HKUSTDial Organization 🕐 Обновлено 2026-11-20 📅 Создано 2025-05-12
40
yihao-meng/HoloCine

[CVPR 2026 Выделение] Официальные реализации для статьи - HoloCine: Целостная генерация кинематографических многошотовых длинных видео-нарративов

yihao-meng
⭐ 707 Python 👤 yihao-meng User 🕐 Обновлено 2025-11-26 📅 Создано 2025-10-22
41
penghao-wu/vstar

Реализация на PyTorch "V* : Guided Visual Search as a Core Mechanism in Multimodal LLMs"

penghao-wu
⭐ 684 Python 👤 penghao-wu User 🕐 Обновлено 2024-01-07 📅 Создано 2023-12-15
42
louaaron/Score-Entropy-Discrete-Diffusion

[ICML 2024 Лучшая статья] Дискретное диффузионное моделирование путем оценки соотношений распределения данных (https://arxiv.org/abs/2310.16834)

louaaron
⭐ 681 Python 👤 louaaron User 🕐 Обновлено 2024-02-29 📅 Создано 2024-02-21
43
Tencent/WeDLM

WeDLM: Самая быстрая диффузионная языковая модель со стандартным причинно-следственным вниманием и нативной совместимостью с KV-кэшем, обеспечивающая реальное ускорение по сравнению с базовыми моделями, оптимизированными с помощью vLLM.

Tencent
⭐ 659 Python 👤 Tencent Organization 🕐 Обновлено 2026-03-03 📅 Создано 2025-12-24
44
zengxiao-he/tessera

От учителя к плиткам — движок дистилляции и обслуживания LLM, созданный с нуля: пользовательские ядра Triton/CUDA, дистилляция FSDP, пакетная обработка с непрерывным KV-кэшированием, спекулятивное декодирование, шлюз на Rust, оракул JAX и инструменты интерпретируемости.

zengxiao-he
⭐ 556 Python 👤 zengxiao-he User 🕐 Обновлено 2026-10-09 📅 Создано 2026-06-05
46
mit-han-lab/duo-attention

[ICLR 2025] DuoAttention: Эффективный вывод LLM с длинным контекстом с использованием головок поиска и потоковой передачи

mit-han-lab
⭐ 541 Python 👤 mit-han-lab Organization 🕐 Обновлено 2025-02-10 📅 Создано 2024-10-15
47
DachengLi1/LongChat

Официальный репозиторий для LongChat и LongEval

DachengLi1
⭐ 533 Python 👤 DachengLi1 User 🕐 Обновлено 2024-05-24 📅 Создано 2023-04-21
48
bofenghuang/vigogne

Французские модели выполнения инструкций и чат-боты

bofenghuang
⭐ 506 Jupyter Notebook 👤 bofenghuang User 🕐 Обновлено 2024-12-05 📅 Создано 2023-03-24

Часто задаваемые вопросы

1

Какой репозиторий по теме #flash-attention наиболее популярен на GitHub?

Самый высоко оценённый проект с открытым исходным кодом по теме #flash-attention на GitHub — deepseek-ai/DeepSeek-OCR, набравший 24,180 звёзд. Контексты оптического сжатия

2

Какие языки программирования чаще всего используются в репозиториях по теме #flash-attention?

Среди наиболее высоко оценённых проектов по теме #flash-attention на GitHub чаще всего используются языки программирования Python, Cuda, TeX, C++.

3

Как рассчитывается рейтинг репозиториев по теме #flash-attention?

Мы отслеживаем 48 активных репозиториев с открытым исходным кодом, отмеченных тегом #flash-attention (500 и более звёзд), с общим числом 156,291 звёзд и в среднем 3,256 звёзд на репозиторий. Рейтинги обновляются ежедневно на основе данных GitHub API.