#attention Репозитории
Откройте для себя 29 активных репозиториев с открытым исходным кодом на GitHub, отмеченных тегом #attention, с общим числом 203,649 звёзд (в среднем 7,022 на проект). Лидером этой темы является labmlai/annotated_deep_learning_paper_implementations, набравший 67,780 звёзд.
Всего репозиториев: 29
🧑🏫 60+ реализаций/руководств по статьям о глубоком обучении с заметками бок о бок 📝; включая трансформеры (оригинал, xl, switch, feedback, vit, ...), оптимизаторы (adam, adabelief, sophia, ...), gan (cyclegan, stylegan2, ...), 🎮 обучение с подкреплением (ppo, dqn), capsnet, дистилляцию, ... 🧠
SGLang — это высокопроизводительный фреймворк для обслуживания больших языковых моделей и мультимодальных моделей.
Теоретическая реконструкция архитектуры мифоса Клода, построенная с первых принципов с использованием доступной научной литературы.
Руководство по обработке естественного языка для исследователей глубокого обучения
🍀 Реализация в Pytorch различных механизмов внимания, MLP, перепараметризации, сверток, которые полезны для дальнейшего понимания статей.⭐⭐⭐
Реализация модели Transformer из "Attention is All You Need" на PyTorch.
Учебные пособия по реализации нескольких моделей sequence-to-sequence (seq2seq) с помощью PyTorch и TorchText.
В этом репозитории собраны главным образом заметки по изучению статей ведущих конференций, связанных с разработкой алгоритмов NLP.
[ICLR2025, ICML2025, NeurIPS2025 Spotlight] Квантованное внимание (Quantized Attention) обеспечивает ускорение в 2–5 раз по сравнению с FlashAttention, не снижая сквозных (end-to-end) метрик для языковых, графических и видеомоделей.
Scenic: библиотека Jax для исследований в области компьютерного зрения и не только
Это репозиторий Pytorch YOLOv4, attentive YOLOv4 и mobilenet YOLOv4 с PASCAL VOC и COCO
Реализация Transfusion на Pytorch, «Предсказание следующего токена и диффузия изображений с помощью одной мультимодальной модели» от MetaAI
[ICML2025] SpargeAttention: Обучаемая разреженная модель внимания, ускоряющая вывод любых моделей.
Репликация простых проектов CV, включая attention, классификацию, детекцию, детекцию ключевых точек и т.д.
Создайте свой собственный высокопроизводительный движок вывода LLM на C++ и CUDA - уменьшенная версия vLLM
cuDNN Frontend — это современная open-source точка входа NVIDIA в библиотеку cuDNN и растущую коллекцию высокопроизводительных open-source ядер.
Библиотека PyTorch для всего, что связано с обучением с подкреплением (RL) для комбинаторной оптимизации (CO)
Реализация шаблона разреженного внимания, предложенного командой Deepseek в их статье «Native Sparse Attention»
Многоклассовая текстовая классификация, многоклассовая классификация, текстовая классификация, multi-label, classifier, text classification, BERT, seq2seq, attention, multi-label-classification
Реализация механизма внимания "plug-in and play" из "LongNet: Масштабирование трансформеров до 1 000 000 000 токенов"
EEG Transformer 2.0. i. Сверточный трансформер для декодирования ЭЭГ. ii. Новая визуализация - Топография активации классов.
Достигните пошагового вывода llama3, усвойте основные концепции, освойте вывод процесса, реализуйте код.
Keras beit,caformer,CMT,CoAtNet,convnext,davit,dino,efficientdet,edgenext,efficientformer,efficientnet,eva,fasternet,fastervit,fastvit,flexivit,gcvit,ghostnet,gpvit,hornet,hiera,iformer,inceptionnext,lcnet,levit,maxvit,mobilevit,moganet,nat,nfnets,pvt,swin,tinynet,tinyvit,uniformer,volo,vanillanet,yolor,yolov7,yolov8,yolox,gpt2,llama2, alias kecam
Официальная реализация на PyTorch статьи "SAITS: Импутация на основе Self-Attention для временных рядов". Быстрая и передовая (SOTA) модель глубокого обучения нейронной сети для эффективной импутации временных рядов (импутация многомерных неполных временных рядов, содержащих пропущенные данные/значения NaN, с помощью машинного обучения). https://arxiv.org/abs/2202.08516
Проектируйте архитектуры моделей, оптимизированные для аппаратного обеспечения, и переносите существующие LLM с минимальной потерей производительности
Часто задаваемые вопросы
Какой репозиторий по теме #attention наиболее популярен на GitHub?
Самый высоко оценённый проект с открытым исходным кодом по теме #attention на GitHub — labmlai/annotated_deep_learning_paper_implementations, набравший 67,780 звёзд. 🧑🏫 60+ реализаций/руководств по статьям о глубоком обучении с заметками бок о бок 📝; включая трансформеры (оригинал, xl, switch, feedback, vit, ...), оптимизаторы (adam, adabelief, sophia, ...), gan (cyclegan, stylegan2, ...), 🎮 обучение с подкреплением (ppo, dqn), capsnet, дистилляцию, ... 🧠
Какие языки программирования чаще всего используются в репозиториях по теме #attention?
Среди наиболее высоко оценённых проектов по теме #attention на GitHub чаще всего используются языки программирования Python, Jupyter Notebook, Cuda, C++.
Как рассчитывается рейтинг репозиториев по теме #attention?
Мы отслеживаем 29 активных репозиториев с открытым исходным кодом, отмеченных тегом #attention (500 и более звёзд), с общим числом 203,649 звёзд и в среднем 7,022 звёзд на репозиторий. Рейтинги обновляются ежедневно на основе данных GitHub API.