Git Stars Git Stars

#attention Репозитории

Откройте для себя 29 активных репозиториев с открытым исходным кодом на GitHub, отмеченных тегом #attention, с общим числом 203,649 звёзд (в среднем 7,022 на проект). Лидером этой темы является labmlai/annotated_deep_learning_paper_implementations, набравший 67,780 звёзд.

29
Всего репозиториев
203,649
Всего звезд
7,022
Среднее количество звезд на репозиторий
Языки программирования: Python Jupyter Notebook Cuda C++ TeX Julia

Всего репозиториев: 29

1
labmlai/annotated_deep_learning_paper_implementations

🧑‍🏫 60+ реализаций/руководств по статьям о глубоком обучении с заметками бок о бок 📝; включая трансформеры (оригинал, xl, switch, feedback, vit, ...), оптимизаторы (adam, adabelief, sophia, ...), gan (cyclegan, stylegan2, ...), 🎮 обучение с подкреплением (ppo, dqn), capsnet, дистилляцию, ... 🧠

labmlai
⭐ 67,780 Python 👤 labmlai Organization 🕐 Обновлено 2026-11-02 📅 Создано 2020-08-25
2
sgl-project/sglang

SGLang — это высокопроизводительный фреймворк для обслуживания больших языковых моделей и мультимодальных моделей.

sgl-project
⭐ 38,899 Python 👤 sgl-project Organization 🕐 Обновлено 2026-11-21 📅 Создано 2024-01-08
3
kyegomez/OpenMythos

Теоретическая реконструкция архитектуры мифоса Клода, построенная с первых принципов с использованием доступной научной литературы.

kyegomez
⭐ 14,932 Python 👤 kyegomez User 🕐 Обновлено 2026-05-23 📅 Создано 2026-04-18
4
graykode/nlp-tutorial

Руководство по обработке естественного языка для исследователей глубокого обучения

graykode
⭐ 14,826 Jupyter Notebook 👤 graykode User 🕐 Обновлено 2024-02-21 📅 Создано 2019-01-09
5
xmu-xiaoma666/External-Attention-pytorch

🍀 Реализация в Pytorch различных механизмов внимания, MLP, перепараметризации, сверток, которые полезны для дальнейшего понимания статей.⭐⭐⭐

xmu-xiaoma666
⭐ 12,182 Python 👤 xmu-xiaoma666 User 🕐 Обновлено 2026-03-16 📅 Создано 2021-05-08
6
jadore801120/attention-is-all-you-need-pytorch

Реализация модели Transformer из "Attention is All You Need" на PyTorch.

jadore801120
⭐ 9,576 Python 👤 jadore801120 User 🕐 Обновлено 2024-04-16 📅 Создано 2017-06-14
7
flashinfer-ai/flashinfer

FlashInfer: Библиотека ядер для обслуживания LLM

flashinfer-ai
⭐ 6,982 Cuda 👤 flashinfer-ai Organization 🕐 Обновлено 2026-11-21 📅 Создано 2023-07-22
8
bentrevett/pytorch-seq2seq

Учебные пособия по реализации нескольких моделей sequence-to-sequence (seq2seq) с помощью PyTorch и TorchText.

bentrevett
⭐ 5,664 Jupyter Notebook 👤 bentrevett User 🕐 Обновлено 2024-01-20 📅 Создано 2018-07-17
9
hyunwoongko/transformer

Transformer: Реализация на PyTorch статьи "Attention Is All You Need"

hyunwoongko
⭐ 4,609 Python 👤 hyunwoongko User 🕐 Обновлено 2025-07-15 📅 Создано 2019-10-15
10
km1994/nlp_paper_study

В этом репозитории собраны главным образом заметки по изучению статей ведущих конференций, связанных с разработкой алгоритмов NLP.

km1994
⭐ 4,035 C++ 👤 km1994 User 🕐 Обновлено 2026-10-11 📅 Создано 2019-05-18
11
thu-ml/SageAttention

[ICLR2025, ICML2025, NeurIPS2025 Spotlight] Квантованное внимание (Quantized Attention) обеспечивает ускорение в 2–5 раз по сравнению с FlashAttention, не снижая сквозных (end-to-end) метрик для языковых, графических и видеомоделей.

thu-ml
⭐ 4,017 Cuda 👤 thu-ml Organization 🕐 Обновлено 2026-01-17 📅 Создано 2024-10-03
12
google-research/scenic

Scenic: библиотека Jax для исследований в области компьютерного зрения и не только

google-research
⭐ 3,848 Python 👤 google-research Organization 🕐 Обновлено 2026-10-31 📅 Создано 2021-07-12
13
kyegomez/awesome-multi-agent-papers

Сборник лучших статей по мультиагентным системам

kyegomez
⭐ 1,720 TeX 👤 kyegomez User 🕐 Обновлено 2026-11-20 📅 Создано 2024-02-21
14
argusswift/YOLOv4-pytorch

Это репозиторий Pytorch YOLOv4, attentive YOLOv4 и mobilenet YOLOv4 с PASCAL VOC и COCO

argusswift
⭐ 1,673 Python 👤 argusswift User 🕐 Обновлено 2024-05-03 📅 Создано 2020-07-19
15
lucidrains/transfusion-pytorch

Реализация Transfusion на Pytorch, «Предсказание следующего токена и диффузия изображений с помощью одной мультимодальной модели» от MetaAI

lucidrains
⭐ 1,412 Python 👤 lucidrains User 🕐 Обновлено 2026-09-04 📅 Создано 2024-08-23
16
thu-ml/SpargeAttn

[ICML2025] SpargeAttention: Обучаемая разреженная модель внимания, ускоряющая вывод любых моделей.

thu-ml
⭐ 1,269 Cuda 👤 thu-ml Organization 🕐 Обновлено 2026-02-25 📅 Создано 2025-02-25
17
pprp/SimpleCVReproduction

Репликация простых проектов CV, включая attention, классификацию, детекцию, детекцию ключевых точек и т.д.

pprp
⭐ 1,261 Jupyter Notebook 👤 pprp User 🕐 Обновлено 2025-08-14 📅 Создано 2019-12-11
18
jmaczan/tiny-vllm

Создайте свой собственный высокопроизводительный движок вывода LLM на C++ и CUDA - уменьшенная версия vLLM

jmaczan
⭐ 1,207 C++ 👤 jmaczan User 🕐 Обновлено 2026-11-15 📅 Создано 2026-02-09
19
NVIDIA/cudnn-frontend

cuDNN Frontend — это современная open-source точка входа NVIDIA в библиотеку cuDNN и растущую коллекцию высокопроизводительных open-source ядер.

NVIDIA
⭐ 1,008 Cuda 👤 NVIDIA Organization 🕐 Обновлено 2026-11-21 📅 Создано 2021-01-22
20
ai4co/rl4co

Библиотека PyTorch для всего, что связано с обучением с подкреплением (RL) для комбинаторной оптимизации (CO)

ai4co
⭐ 924 Python 👤 ai4co Organization 🕐 Обновлено 2026-09-14 📅 Создано 2023-02-23
21
lucidrains/native-sparse-attention-pytorch

Реализация шаблона разреженного внимания, предложенного командой Deepseek в их статье «Native Sparse Attention»

lucidrains
⭐ 811 Python 👤 lucidrains User 🕐 Обновлено 2025-08-15 📅 Создано 2025-02-19
22
hellonlp/classifier-multi-label

Многоклассовая текстовая классификация, многоклассовая классификация, текстовая классификация, multi-label, classifier, text classification, BERT, seq2seq, attention, multi-label-classification

hellonlp
⭐ 800 Python 👤 hellonlp User 🕐 Обновлено 2024-12-11 📅 Создано 2020-07-13
23
kyegomez/LongNet

Реализация механизма внимания "plug-in and play" из "LongNet: Масштабирование трансформеров до 1 000 000 000 токенов"

kyegomez
⭐ 715 Python 👤 kyegomez User 🕐 Обновлено 2024-01-07 📅 Создано 2023-07-06
24
eeyhsong/EEG-Conformer

EEG Transformer 2.0. i. Сверточный трансформер для декодирования ЭЭГ. ii. Новая визуализация - Топография активации классов.

eeyhsong
⭐ 674 Python 👤 eeyhsong User 🕐 Обновлено 2024-07-24 📅 Создано 2022-07-26
25
therealoliver/Deepdive-llama3-from-scratch

Достигните пошагового вывода llama3, усвойте основные концепции, освойте вывод процесса, реализуйте код.

therealoliver
⭐ 629 Jupyter Notebook 👤 therealoliver User 🕐 Обновлено 2025-02-24 📅 Создано 2025-02-19
26
leondgarse/keras_cv_attention_models

Keras beit,caformer,CMT,CoAtNet,convnext,davit,dino,efficientdet,edgenext,efficientformer,efficientnet,eva,fasternet,fastervit,fastvit,flexivit,gcvit,ghostnet,gpvit,hornet,hiera,iformer,inceptionnext,lcnet,levit,maxvit,mobilevit,moganet,nat,nfnets,pvt,swin,tinynet,tinyvit,uniformer,volo,vanillanet,yolor,yolov7,yolov8,yolox,gpt2,llama2, alias kecam

leondgarse
⭐ 624 Python 👤 leondgarse User 🕐 Обновлено 2026-02-15 📅 Создано 2021-08-02
27
chengchingwen/Transformers.jl

Реализация моделей Transformer на Julia

chengchingwen
⭐ 574 Julia 👤 chengchingwen User 🕐 Обновлено 2026-10-24 📅 Создано 2018-12-27
28
WenjieDu/SAITS

Официальная реализация на PyTorch статьи "SAITS: Импутация на основе Self-Attention для временных рядов". Быстрая и передовая (SOTA) модель глубокого обучения нейронной сети для эффективной импутации временных рядов (импутация многомерных неполных временных рядов, содержащих пропущенные данные/значения NaN, с помощью машинного обучения). https://arxiv.org/abs/2202.08516

WenjieDu
⭐ 521 Python 👤 WenjieDu User 🕐 Обновлено 2026-08-25 📅 Создано 2021-12-07
29
MuLabPKU/TransArch

Проектируйте архитектуры моделей, оптимизированные для аппаратного обеспечения, и переносите существующие LLM с минимальной потерей производительности

MuLabPKU
⭐ 520 Python 👤 MuLabPKU Organization 🕐 Обновлено 2026-11-11 📅 Создано 2025-01-02

Часто задаваемые вопросы

1

Какой репозиторий по теме #attention наиболее популярен на GitHub?

Самый высоко оценённый проект с открытым исходным кодом по теме #attention на GitHub — labmlai/annotated_deep_learning_paper_implementations, набравший 67,780 звёзд. 🧑‍🏫 60+ реализаций/руководств по статьям о глубоком обучении с заметками бок о бок 📝; включая трансформеры (оригинал, xl, switch, feedback, vit, ...), оптимизаторы (adam, adabelief, sophia, ...), gan (cyclegan, stylegan2, ...), 🎮 обучение с подкреплением (ppo, dqn), capsnet, дистилляцию, ... 🧠

2

Какие языки программирования чаще всего используются в репозиториях по теме #attention?

Среди наиболее высоко оценённых проектов по теме #attention на GitHub чаще всего используются языки программирования Python, Jupyter Notebook, Cuda, C++.

3

Как рассчитывается рейтинг репозиториев по теме #attention?

Мы отслеживаем 29 активных репозиториев с открытым исходным кодом, отмеченных тегом #attention (500 и более звёзд), с общим числом 203,649 звёзд и в среднем 7,022 звёзд на репозиторий. Рейтинги обновляются ежедневно на основе данных GitHub API.