Git Stars Git Stars

#attention-mechanism Репозитории

Откройте для себя 50 активных репозиториев с открытым исходным кодом на GitHub, отмеченных тегом #attention-mechanism, с общим числом 274,514 звёзд (в среднем 5,490 на проект). Лидером этой темы является rasbt/LLMs-from-scratch, набравший 108,745 звёзд.

50
Всего репозиториев
274,514
Всего звезд
5,490
Среднее количество звезд на репозиторий
Языки программирования: Python Jupyter Notebook Rust Swift

Всего репозиториев: 50

1
rasbt/LLMs-from-scratch

Реализуйте LLM, подобный ChatGPT, в PyTorch с нуля, шаг за шагом

rasbt
⭐ 108,745 Jupyter Notebook 👤 rasbt User 🕐 Обновлено 2026-11-20 📅 Создано 2023-07-23
2
lucidrains/vit-pytorch

Реализация Vision Transformer, простой способ достичь SOTA в классификации изображений с помощью всего одного трансформерного энкодера в Pytorch

lucidrains
⭐ 25,588 Python 👤 lucidrains User 🕐 Обновлено 2026-11-07 📅 Создано 2020-10-03
3
Dao-AILab/flash-attention

Быстрое и эффективное по памяти точное внимание

Dao-AILab
⭐ 25,330 Python 👤 Dao-AILab Organization 🕐 Обновлено 2026-11-21 📅 Создано 2022-05-19
4
nndl/nndl

«Нейронные сети и глубокое обучение» Цю Сипэна, второе издание и общеобразовательное издание: электронная книга, содержание по главам, учебные ресурсы и список исправлений.

nndl
⭐ 19,627 👤 nndl Organization 🕐 Обновлено 2026-09-06 📅 Создано 2016-09-06
5
BlinkDL/RWKV-LM

RWKV (произносится RwaKuv) — это RNN с отличной производительностью LLM, который также может быть напрямую обучен, как трансформер GPT (параллелизуемый). Мы находимся на RWKV-7 "Goose". Таким образом, он сочетает в себе лучшее от RNN и трансформера — отличная производительность, линейное время, постоянное пространство (без kv-кеша), быстрое обучение, бесконечная длина контекста (ctx_len) и бесплатное встраивание предложений.

BlinkDL
⭐ 14,786 Python 👤 BlinkDL User 🕐 Обновлено 2026-11-04 📅 Создано 2021-08-08
6
facebookresearch/xformers

Взломостойкие и оптимизированные строительные блоки Transformer, поддерживающие композитную конструкцию.

facebookresearch
⭐ 10,579 Python 👤 facebookresearch Organization 🕐 Обновлено 2026-11-13 📅 Создано 2021-10-13
7
lucidrains/x-transformers

Краткий, но полный полно-внимательный трансформер с набором многообещающих экспериментальных функций из различных статей

lucidrains
⭐ 5,966 Python 👤 lucidrains User 🕐 Обновлено 2026-11-18 📅 Создано 2020-10-24
8
lucidrains/DALLE-pytorch

Реализация / воспроизведение DALL-E, трансформера OpenAI для преобразования текста в изображение, на Pytorch

lucidrains
⭐ 5,632 Python 👤 lucidrains User 🕐 Обновлено 2024-02-17 📅 Создано 2021-01-05
9
cmhungsteve/Awesome-Transformer-Attention

В конечном итоге исчерпывающий список работ по Vision Transformer/Attention, включая статьи, коды и связанные веб-сайты

cmhungsteve
⭐ 4,987 👤 cmhungsteve User 🕐 Обновлено 2024-07-30 📅 Создано 2021-09-15
10
ruvnet/RuVector

RuVector предоставляет высокопроизводительное принятие решений в реальном времени и память агентов, самообучающийся ИИ и векторную базу данных GNN, созданную на Rust.

ruvnet
⭐ 4,713 Rust 👤 ruvnet User 🕐 Обновлено 2026-11-21 📅 Создано 2025-11-19
11
raiyanyahya/how-to-train-your-gpt

Создайте современную LLM с нуля. Каждая строка с комментарием. Объяснено так, как будто нам пять лет.

raiyanyahya
⭐ 4,183 Jupyter Notebook 👤 raiyanyahya User 🕐 Обновлено 2026-10-26 📅 Создано 2026-05-03
12
MLNLP-World/LLMs-from-scratch-CN

Китайский перевод проекта LLMs-from-scratch

MLNLP-World
⭐ 3,100 Jupyter Notebook 👤 MLNLP-World Organization 🕐 Обновлено 2026-04-19 📅 Создано 2025-01-20
13
sunsmarterjie/yolov12

[NeurIPS 2025] YOLOv12: Центрированные на внимании реалтаймовые детекторы объектов

sunsmarterjie
⭐ 2,967 Python 👤 sunsmarterjie User 🕐 Обновлено 2026-10-25 📅 Создано 2025-02-06
14
linto-ai/whisper-timestamped

Многоязычное автоматическое распознавание речи с временными метками на уровне слов и уверенностью

linto-ai
⭐ 2,860 Python 👤 linto-ai Organization 🕐 Обновлено 2026-09-28 📅 Создано 2023-01-13
15
philipperemy/keras-attention

Слой внимания Keras (баллы Луоунга и Бахданау).

philipperemy
⭐ 2,809 Python 👤 philipperemy User 🕐 Обновлено 2026-03-12 📅 Создано 2017-05-23
16
aburkov/theLMbook

Это официальный репозиторий книги "The Hundred-Page Language Models Book" от Андрея Буркова

aburkov
⭐ 2,194 Jupyter Notebook 👤 aburkov User 🕐 Обновлено 2026-02-08 📅 Создано 2024-06-28
17
flybirdxx/ComfyUI-Qwen-TTS

Простая реализация ComfyUI Qwen3-TTS

flybirdxx
⭐ 1,981 Python 👤 flybirdxx User 🕐 Обновлено 2026-11-10 📅 Создано 2026-01-22
18
amitshekhariitbhu/llm-internals

Изучайте внутреннюю работу LLM шаг за шагом — от токенизации до механизма внимания и оптимизации вывода.

amitshekhariitbhu
⭐ 1,774 👤 amitshekhariitbhu User 🕐 Обновлено 2026-11-20 📅 Создано 2026-04-12
19
lucidrains/soundstorm-pytorch

Реализация SoundStorm, эффективная параллельная генерация аудио от Google Deepmind, на Pytorch

lucidrains
⭐ 1,545 Python 👤 lucidrains User 🕐 Обновлено 2025-04-24 📅 Создано 2023-05-17
20
yulunzhang/RCAN

Код на PyTorch для нашей статьи ECCV 2018 "Image Super-Resolution Using Very Deep Residual Channel Attention Networks"

yulunzhang
⭐ 1,497 Python 👤 yulunzhang User 🕐 Обновлено 2025-04-01 📅 Создано 2018-07-03
22
meta-pytorch/attention-gym

Полезные инструменты и примеры для работы с flex-attention

meta-pytorch
⭐ 1,274 Python 👤 meta-pytorch Organization 🕐 Обновлено 2026-11-21 📅 Создано 2024-07-31
23
lucidrains/perceiver-pytorch

Реализация Perceiver, общего восприятия с итеративным вниманием, в Pytorch

lucidrains
⭐ 1,223 Python 👤 lucidrains User 🕐 Обновлено 2026-10-26 📅 Создано 2021-03-05
24
awslabs/sockeye

Фреймворк последовательность-к-последовательности с акцентом на нейронный машинный перевод на основе PyTorch

awslabs
⭐ 1,217 Python 👤 awslabs Organization 🕐 Обновлено 2024-10-24 📅 Создано 2017-06-08
25
chengtan9907/OpenSTL

OpenSTL: Комплексный бенчмарк для пространственно-временного прогнозного обучения

chengtan9907
⭐ 1,165 Python 👤 chengtan9907 User 🕐 Обновлено 2026-03-01 📅 Создано 2022-07-27
26
SuperBruceJia/EEG-DL

Библиотека глубокого обучения для классификации задач (сигналов) ЭЭГ, основанная на TensorFlow.

SuperBruceJia
⭐ 1,162 Python 👤 SuperBruceJia User 🕐 Обновлено 2025-07-20 📅 Создано 2020-04-30
27
cedrickchee/awesome-transformer-nlp

Куратированный список ресурсов NLP, сосредоточенный на сетях Transformer, механизме внимания, GPT, BERT, ChatGPT, LLM и трансферном обучении.

cedrickchee
⭐ 1,124 👤 cedrickchee User 🕐 Обновлено 2024-10-27 📅 Создано 2019-01-13
28
lucidrains/tab-transformer-pytorch

Реализация TabTransformer, сети внимания для табличных данных, в Pytorch

lucidrains
⭐ 1,097 Python 👤 lucidrains User 🕐 Обновлено 2026-01-08 📅 Создано 2020-12-15
29
qiuzh20/gated_attention

Официальная реализация [NeurIPS2025 Oral] «Вентилируемое внимание (Gated Attention) для больших языковых моделей: нелинейность, разреженность и отсутствие поглотителя внимания (Attention-Sink-Free)»

qiuzh20
⭐ 994 Jupyter Notebook 👤 qiuzh20 User 🕐 Обновлено 2025-12-20 📅 Создано 2025-05-09
30
AMLab-Amsterdam/AttentionDeepMIL

Реализация внимания-основанного глубокого множественного обучения экземпляров в PyTorch

AMLab-Amsterdam
⭐ 965 Python 👤 AMLab-Amsterdam Organization 🕐 Обновлено 2024-01-08 📅 Создано 2018-02-26
31
lucidrains/linear-attention-transformer

Трансформер на основе варианта механизма внимания с линейной сложностью по отношению к длине последовательности

lucidrains
⭐ 821 Python 👤 lucidrains User 🕐 Обновлено 2024-05-05 📅 Создано 2020-06-04
32
mit-han-lab/fastcomposer

[IJCV] FastComposer: Генерация изображений на несколько объектов без настройки с локализованным вниманием

mit-han-lab
⭐ 716 Python 👤 mit-han-lab Organization 🕐 Обновлено 2025-01-10 📅 Создано 2023-05-17
33
swz30/MIRNet

[ECCV 2020] Обучение обогащенным признакам для восстановления и улучшения реальных изображений. Результаты SOTA для шумоподавления изображений, сверхвысокого разрешения и улучшения изображений.

swz30
⭐ 708 Python 👤 swz30 User 🕐 Обновлено 2024-04-18 📅 Создано 2020-03-11
34
positive666/yolo_research

на основе проекта высокого уровня yolo (обнаружение\поза\классификация\сегментация\): включает YOLOv5\YOLOv7\YOLOv8\ Core, исследование улучшений, SwinTransformerV2 и серию Attention. навыки обучения, индивидуальная настройка бизнеса, инженерное развертывание C

positive666
⭐ 667 Python 👤 positive666 User 🕐 Обновлено 2026-04-27 📅 Создано 2021-02-25
35
Canjie-Luo/MORAN_v2

MORAN: Сеть с исправленным вниманием для нескольких объектов для распознавания текста в сцене

Canjie-Luo
⭐ 648 Python 👤 Canjie-Luo User 🕐 Обновлено 2024-07-25 📅 Создано 2019-01-09
36
zjx0101/ObjectClear

[CVPR'26] ObjectClear: Точный удаление объектов и эффектов с адаптивным вниманием к целям

zjx0101
⭐ 634 Python 👤 zjx0101 User 🕐 Обновлено 2026-08-03 📅 Создано 2025-05-28
37
therealoliver/Deepdive-llama3-from-scratch

Достигните пошагового вывода llama3, усвойте основные концепции, освойте вывод процесса, реализуйте код.

therealoliver
⭐ 629 Jupyter Notebook 👤 therealoliver User 🕐 Обновлено 2025-02-24 📅 Создано 2025-02-19
38
kyegomez/zeta

Создавайте высокопроизводительные модели ИИ с помощью модульных блоков

kyegomez
⭐ 605 Python 👤 kyegomez User 🕐 Обновлено 2026-11-16 📅 Создано 2023-07-09
39
bhoov/exbert

Визуальный инструмент анализа для изучения выученных представлений в моделях Transformers

bhoov
⭐ 602 Python 👤 bhoov User 🕐 Обновлено 2024-02-07 📅 Создано 2019-10-14
40
prs-eth/OverlapPredator

[CVPR 2021, Устный доклад] PREDATOR: Регистрация 3D-облаков точек с низким перекрытием.

prs-eth
⭐ 599 Python 👤 prs-eth Organization 🕐 Обновлено 2025-02-20 📅 Создано 2020-11-24
41
Haiyang-W/TokenFormer

[ICLR2025 Spotlight🔥] Официальная реализация TokenFormer: Переосмысление масштабирования Transformer с использованием токенизированных параметров модели

Haiyang-W
⭐ 590 Python 👤 Haiyang-W User 🕐 Обновлено 2025-02-11 📅 Создано 2024-10-29
43
lucidrains/enformer-pytorch

Реализация Enformer, сети внимания Deepmind для прогнозирования экспрессии генов, на PyTorch

lucidrains
⭐ 576 Python 👤 lucidrains User 🕐 Обновлено 2026-06-26 📅 Создано 2021-10-23
44
philipturner/metal-flash-attention

FlashAttention (порт Metal)

philipturner
⭐ 570 Swift 👤 philipturner User 🕐 Обновлено 2024-09-22 📅 Создано 2023-06-23
45
wgcban/ChangeFormer

[IGARSS'22]: Трансформерная сиамская сеть для обнаружения изменений

wgcban
⭐ 555 Python 👤 wgcban User 🕐 Обновлено 2024-01-31 📅 Создано 2021-12-02
46
lucidrains/ring-attention-pytorch

Реализация 💍 Ring Attention от Liu et al. из Berkeley AI на Pytorch

lucidrains
⭐ 547 Python 👤 lucidrains User 🕐 Обновлено 2025-05-16 📅 Создано 2024-02-14
47
kyegomez/RT-2

Демократизация RT-2 «RT-2: Новая модель переводит видение и язык в действие»

kyegomez
⭐ 539 Python 👤 kyegomez User 🕐 Обновлено 2024-07-26 📅 Создано 2023-07-28
48
WenjieDu/SAITS

Официальная реализация на PyTorch статьи "SAITS: Импутация на основе Self-Attention для временных рядов". Быстрая и передовая (SOTA) модель глубокого обучения нейронной сети для эффективной импутации временных рядов (импутация многомерных неполных временных рядов, содержащих пропущенные данные/значения NaN, с помощью машинного обучения). https://arxiv.org/abs/2202.08516

WenjieDu
⭐ 521 Python 👤 WenjieDu User 🕐 Обновлено 2026-08-25 📅 Создано 2021-12-07
49
zhengchen1999/DAT

[ICCV'23] Трансформер с двойной агрегацией для сверхразрешения изображений

zhengchen1999
⭐ 517 Python 👤 zhengchen1999 User 🕐 Обновлено 2024-11-26 📅 Создано 2022-11-10
50
lucidrains/slot-attention

Реализация Slot Attention от Google AI

lucidrains
⭐ 502 Python 👤 lucidrains User 🕐 Обновлено 2026-06-06 📅 Создано 2020-06-29

Часто задаваемые вопросы

1

Какой репозиторий по теме #attention-mechanism наиболее популярен на GitHub?

Самый высоко оценённый проект с открытым исходным кодом по теме #attention-mechanism на GitHub — rasbt/LLMs-from-scratch, набравший 108,745 звёзд. Реализуйте LLM, подобный ChatGPT, в PyTorch с нуля, шаг за шагом

2

Какие языки программирования чаще всего используются в репозиториях по теме #attention-mechanism?

Среди наиболее высоко оценённых проектов по теме #attention-mechanism на GitHub чаще всего используются языки программирования Python, Jupyter Notebook, Rust, Swift.

3

Как рассчитывается рейтинг репозиториев по теме #attention-mechanism?

Мы отслеживаем 50 активных репозиториев с открытым исходным кодом, отмеченных тегом #attention-mechanism (500 и более звёзд), с общим числом 274,514 звёзд и в среднем 5,490 звёзд на репозиторий. Рейтинги обновляются ежедневно на основе данных GitHub API.