Git Stars Git Stars

#attention-mechanisms Репозитории

Откройте для себя 39 активных репозиториев с открытым исходным кодом на GitHub, отмеченных тегом #attention-mechanisms, с общим числом 77,773 звёзд (в среднем 1,994 на проект). Лидером этой темы является lucidrains/PaLM-rlhf-pytorch, набравший 7,858 звёзд.

39
Всего репозиториев
77,773
Всего звезд
1,994
Среднее количество звезд на репозиторий
Языки программирования: Python Jupyter Notebook TypeScript

Всего репозиториев: 39

1
lucidrains/PaLM-rlhf-pytorch

Реализация RLHF (обучение с подкреплением на основе обратной связи от человека) поверх архитектуры PaLM. По сути, ChatGPT, но с PaLM

lucidrains
⭐ 7,858 Python 👤 lucidrains User 🕐 Обновлено 2026-09-20 📅 Создано 2022-12-09
2
lllyasviel/Omost

Ваше изображение почти готово!

lllyasviel
⭐ 7,661 Python 👤 lllyasviel User 🕐 Обновлено 2024-07-26 📅 Создано 2024-05-29
3
mit-han-lab/streaming-llm

[ICLR 2024] Эффективные потоковые языковые модели с центром внимания (Attention Sinks)

mit-han-lab
⭐ 7,165 Python 👤 mit-han-lab Organization 🕐 Обновлено 2024-07-11 📅 Создано 2023-09-29
5
cmhungsteve/Awesome-Transformer-Attention

В конечном итоге исчерпывающий список работ по Vision Transformer/Attention, включая статьи, коды и связанные веб-сайты

cmhungsteve
⭐ 4,987 👤 cmhungsteve User 🕐 Обновлено 2024-07-30 📅 Создано 2021-09-15
6
fundamentalvision/Deformable-DETR

Deformable DETR: Деформируемые трансформеры для сквозного обнаружения объектов.

fundamentalvision
⭐ 3,846 Python 👤 fundamentalvision Organization 🕐 Обновлено 2024-05-16 📅 Создано 2020-11-30
7
Everlyn-Labs/Everlyn-1

Первая открытая авторегрессионная основополагающая видеомодель с искусственным интеллектом.

Everlyn-Labs
⭐ 2,891 👤 Everlyn-Labs Organization 🕐 Обновлено 2026-10-07 📅 Создано 2024-10-13
8
MenghaoGuo/Awesome-Vision-Attentions

Краткое изложение связанных работ по визуальному вниманию. Соответствующий код будет постепенно выпускаться на основе Jittor.

MenghaoGuo
⭐ 2,844 Python 👤 MenghaoGuo User 🕐 Обновлено 2024-10-20 📅 Создано 2021-09-01
9
lucidrains/audiolm-pytorch

Реализация AudioLM, передового подхода к моделированию языка для генерации аудио от Google Research, на Pytorch

lucidrains
⭐ 2,620 Python 👤 lucidrains User 🕐 Обновлено 2025-01-12 📅 Создано 2022-09-09
10
heykeetae/Self-Attention-GAN

Реализация Self-Attention Generative Adversarial Networks (SAGAN) на PyTorch

heykeetae
⭐ 2,603 Python 👤 heykeetae User 🕐 Обновлено 2024-04-22 📅 Создано 2018-05-28
11
lucidrains/toolformer-pytorch

Внедрение Toolformer, языковых моделей, которые могут использовать инструменты, от MetaAI

lucidrains
⭐ 2,055 Python 👤 lucidrains User 🕐 Обновлено 2024-07-22 📅 Создано 2023-02-10
12
lucidrains/make-a-video-pytorch

Реализация Make-A-Video, нового генератора текста в видео SOTA от Meta AI, на Pytorch

lucidrains
⭐ 1,983 Python 👤 lucidrains User 🕐 Обновлено 2024-05-03 📅 Создано 2022-09-29
13
lehaifeng/T-GCN

Временная графовая сверточная сеть для прогнозирования городского транспортного потока

lehaifeng
⭐ 1,782 Jupyter Notebook 👤 lehaifeng User 🕐 Обновлено 2025-09-01 📅 Создано 2018-11-12
14
lucidrains/alphafold3-pytorch

Реализация Alphafold 3 от Google Deepmind на Pytorch

lucidrains
⭐ 1,700 Python 👤 lucidrains User 🕐 Обновлено 2026-08-10 📅 Создано 2024-05-08
15
franciszzj/Leffa

[CVPR 2025] Обучение полей потока во внимании для контролируемой генерации изображений людей

franciszzj
⭐ 1,675 Python 👤 franciszzj User 🕐 Обновлено 2025-09-12 📅 Создано 2024-12-05
16
AIFengheshu/Plug-play-modules

Самые полные модули «подключай и работай» для всей сети в 2025 году, доступны бесплатно! CVPR2025, AAAI2025, ICLR2025, TNNLS2025, arXiv2025...... Включает все области искусственного интеллекта (машинное обучение, глубокое обучение и т. д.), подходит для классификации изображений, обнаружения объектов, сегментации экземпляров, семантической сегментации, паноптической сегментации, оценки позы, сегментации медицинских изображений, сегментации объектов видео, вырезания изображений, редактирования изображений, отслеживания одиночных объектов, отслеживания нескольких объектов, переидентификации личности, RGBT, шумоподавления изображений, удаления дождя, удаления тумана, удаления теней, удаления размытия, сверхразрешения, удаления отражений, удаления муара, восстановления изображений, реставрации изображений, восстановления гиперспектральных изображений, слияния изображений, колоризации изображений, обработки изображений с расширенным динамическим диапазоном, сжатия видео и изображений, 3D облаков точек, 3D обнаружения объектов, 3D семантической сегментации, 3D оценки позы и других задач компьютерного зрения и обработки изображений, а также обработки естественного языка, больших языковых моделей, мультимодальности и других задач, связанных с ИИ. Постоянное обновление......

AIFengheshu
⭐ 1,547 Python 👤 AIFengheshu User 🕐 Обновлено 2025-05-24 📅 Создано 2024-10-09
17
XPixelGroup/HAT

CVPR2023 - Активация большего количества пикселей в трансформере для сверхвысокого разрешения изображений TPAMI - HAT: Гибридный трансформер внимания для восстановления изображений

XPixelGroup
⭐ 1,455 Python 👤 XPixelGroup Organization 🕐 Обновлено 2024-06-02 📅 Создано 2022-04-27
18
facebookresearch/llm-transparency-tool

LLM Transparency Tool (LLM-TT) — интерактивный набор инструментов с открытым исходным кодом для анализа внутренней работы языковых моделей на основе Transformer. *Посмотрите демонстрацию по адресу:* https://huggingface.co/spaces/facebook/llm-transparency-tool-demo

facebookresearch
⭐ 1,228 Python 👤 facebookresearch Organization 🕐 Обновлено 2024-12-03 📅 Создано 2023-12-21
19
DAMO-NLP-SG/VideoLLaMA3

Передовые мультимодальные базовые модели для понимания изображений и видео

DAMO-NLP-SG
⭐ 1,174 Jupyter Notebook 👤 DAMO-NLP-SG Organization 🕐 Обновлено 2025-08-14 📅 Создано 2025-01-19
20
gpu-mode/awesomeMLSys

Список адаптации ML-систем

gpu-mode
⭐ 1,154 👤 gpu-mode Organization 🕐 Обновлено 2026-02-19 📅 Создано 2024-05-06
21
zhuzilin/ring-flash-attention

Реализация кольцевого внимания с флэш-вниманием

zhuzilin
⭐ 1,054 Python 👤 zhuzilin User 🕐 Обновлено 2025-09-10 📅 Создано 2024-02-21
22
lucidrains/BS-RoFormer

Реализация Band Split Roformer, сети внимания SOTA для разделения музыкальных источников из ByteDance AI Labs

lucidrains
⭐ 1,030 Python 👤 lucidrains User 🕐 Обновлено 2026-11-04 📅 Создано 2023-09-09
23
microsoft/Samba

[ICLR 2025] Samba: Простые гибридные модели пространства состояний для эффективного языкового моделирования с неограниченным контекстом

microsoft
⭐ 981 Python 👤 microsoft Organization 🕐 Обновлено 2025-11-16 📅 Создано 2024-06-05
24
daixiangzi/Awesome-Token-Compress

Список статей о некоторых недавних работах по сжатию токенов для Vit и VLM

daixiangzi
⭐ 966 👤 daixiangzi User 🕐 Обновлено 2026-11-13 📅 Создано 2024-09-06
25
lucidrains/muse-maskgit-pytorch

Реализация Muse: Генерация изображений по тексту с помощью маскированных генеративных трансформеров в Pytorch

lucidrains
⭐ 920 Python 👤 lucidrains User 🕐 Обновлено 2024-02-29 📅 Создано 2023-01-03
26
lucidrains/meshgpt-pytorch

Реализация MeshGPT, генерация сетки SOTA с использованием Attention, в Pytorch

lucidrains
⭐ 858 Python 👤 lucidrains User 🕐 Обновлено 2024-12-24 📅 Создано 2023-11-29
27
mystorm16/FastVGGT

[ICLR 2026] FastVGGT: Быстрый Визуальный Геометрический Трансформер

mystorm16
⭐ 826 Python 👤 mystorm16 User 🕐 Обновлено 2026-01-28 📅 Создано 2025-09-01
28
lucidrains/phenaki-pytorch

Реализация Phenaki Video на Pytorch, который использует Mask GIT для создания управляемых текстом видео продолжительностью до 2 минут

lucidrains
⭐ 792 Python 👤 lucidrains User 🕐 Обновлено 2024-07-29 📅 Создано 2022-09-29
29
D-Keqi/mtla

MTLA: Многоголовочное временное латентное внимание

D-Keqi
⭐ 761 Python 👤 D-Keqi User 🕐 Обновлено 2025-10-06 📅 Создано 2025-05-19
30
labmlai/inspectus

Аналитика LLM

labmlai
⭐ 718 TypeScript 👤 labmlai Organization 🕐 Обновлено 2026-07-08 📅 Создано 2024-05-20
31
kyegomez/LongNet

Реализация механизма внимания "plug-in and play" из "LongNet: Масштабирование трансформеров до 1 000 000 000 токенов"

kyegomez
⭐ 715 Python 👤 kyegomez User 🕐 Обновлено 2024-01-07 📅 Создано 2023-07-06
32
JulesBelveze/time-series-autoencoder

PyTorch LSTM-автоэнкодер с двойным вниманием для многомерных временных рядов

JulesBelveze
⭐ 715 Python 👤 JulesBelveze User 🕐 Обновлено 2025-11-11 📅 Создано 2020-06-05
33
lucidrains/magvit2-pytorch

Реализация токенизатора MagViT2 в Pytorch

lucidrains
⭐ 664 Python 👤 lucidrains User 🕐 Обновлено 2025-01-12 📅 Создано 2023-10-10
34
LeapLabTHU/Agent-Attention

Официальный репозиторий Agent Attention (ECCV2024)

LeapLabTHU
⭐ 657 Python 👤 LeapLabTHU User 🕐 Обновлено 2024-11-17 📅 Создано 2023-12-12
35
lucidrains/MEGABYTE-pytorch

Реализация MEGABYTE, Предсказание миллионнобайтных последовательностей с помощью многомасштабных трансформеров, в Pytorch

lucidrains
⭐ 655 Python 👤 lucidrains User 🕐 Обновлено 2024-12-27 📅 Создано 2023-05-15
36
lucidrains/mmdit

Реализация одного слоя MMDiT, предложенного в Stable Diffusion 3, на Pytorch

lucidrains
⭐ 564 Python 👤 lucidrains User 🕐 Обновлено 2026-01-18 📅 Создано 2024-05-04
37
lucidrains/iTransformer

Неофициальная реализация iTransformer - SOTA прогнозирование временных рядов с использованием сетей внимания, от Tsinghua / Ant group

lucidrains
⭐ 535 Python 👤 lucidrains User 🕐 Обновлено 2025-06-12 📅 Создано 2023-10-11
38
changzy00/pytorch-attention

🦖Реализация на Pytorch популярных механизмов внимания, Vision Transformers, MLP-подобных моделей и CNN.🔥🔥🔥

changzy00
⭐ 530 Python 👤 changzy00 User 🕐 Обновлено 2024-01-11 📅 Создано 2023-05-26
39
lucidrains/local-attention

Реализация локального оконного внимания для языкового моделирования

lucidrains
⭐ 502 Python 👤 lucidrains User 🕐 Обновлено 2025-07-16 📅 Создано 2020-07-05

Часто задаваемые вопросы

1

Какой репозиторий по теме #attention-mechanisms наиболее популярен на GitHub?

Самый высоко оценённый проект с открытым исходным кодом по теме #attention-mechanisms на GitHub — lucidrains/PaLM-rlhf-pytorch, набравший 7,858 звёзд. Реализация RLHF (обучение с подкреплением на основе обратной связи от человека) поверх архитектуры PaLM. По сути, ChatGPT, но с PaLM

2

Какие языки программирования чаще всего используются в репозиториях по теме #attention-mechanisms?

Среди наиболее высоко оценённых проектов по теме #attention-mechanisms на GitHub чаще всего используются языки программирования Python, Jupyter Notebook, TypeScript.

3

Как рассчитывается рейтинг репозиториев по теме #attention-mechanisms?

Мы отслеживаем 39 активных репозиториев с открытым исходным кодом, отмеченных тегом #attention-mechanisms (500 и более звёзд), с общим числом 77,773 звёзд и в среднем 1,994 звёзд на репозиторий. Рейтинги обновляются ежедневно на основе данных GitHub API.