#attention-mechanism Репозитории
Откройте для себя 50 активных репозиториев с открытым исходным кодом на GitHub, отмеченных тегом #attention-mechanism, с общим числом 274,514 звёзд (в среднем 5,490 на проект). Лидером этой темы является rasbt/LLMs-from-scratch, набравший 108,745 звёзд.
Всего репозиториев: 50
Реализация Vision Transformer, простой способ достичь SOTA в классификации изображений с помощью всего одного трансформерного энкодера в Pytorch
«Нейронные сети и глубокое обучение» Цю Сипэна, второе издание и общеобразовательное издание: электронная книга, содержание по главам, учебные ресурсы и список исправлений.
RWKV (произносится RwaKuv) — это RNN с отличной производительностью LLM, который также может быть напрямую обучен, как трансформер GPT (параллелизуемый). Мы находимся на RWKV-7 "Goose". Таким образом, он сочетает в себе лучшее от RNN и трансформера — отличная производительность, линейное время, постоянное пространство (без kv-кеша), быстрое обучение, бесконечная длина контекста (ctx_len) и бесплатное встраивание предложений.
Взломостойкие и оптимизированные строительные блоки Transformer, поддерживающие композитную конструкцию.
Краткий, но полный полно-внимательный трансформер с набором многообещающих экспериментальных функций из различных статей
Реализация / воспроизведение DALL-E, трансформера OpenAI для преобразования текста в изображение, на Pytorch
В конечном итоге исчерпывающий список работ по Vision Transformer/Attention, включая статьи, коды и связанные веб-сайты
RuVector предоставляет высокопроизводительное принятие решений в реальном времени и память агентов, самообучающийся ИИ и векторную базу данных GNN, созданную на Rust.
Создайте современную LLM с нуля. Каждая строка с комментарием. Объяснено так, как будто нам пять лет.
[NeurIPS 2025] YOLOv12: Центрированные на внимании реалтаймовые детекторы объектов
Многоязычное автоматическое распознавание речи с временными метками на уровне слов и уверенностью
Это официальный репозиторий книги "The Hundred-Page Language Models Book" от Андрея Буркова
Изучайте внутреннюю работу LLM шаг за шагом — от токенизации до механизма внимания и оптимизации вывода.
Реализация SoundStorm, эффективная параллельная генерация аудио от Google Deepmind, на Pytorch
Код на PyTorch для нашей статьи ECCV 2018 "Image Super-Resolution Using Very Deep Residual Channel Attention Networks"
Реализация Perceiver, общего восприятия с итеративным вниманием, в Pytorch
Фреймворк последовательность-к-последовательности с акцентом на нейронный машинный перевод на основе PyTorch
OpenSTL: Комплексный бенчмарк для пространственно-временного прогнозного обучения
Библиотека глубокого обучения для классификации задач (сигналов) ЭЭГ, основанная на TensorFlow.
Куратированный список ресурсов NLP, сосредоточенный на сетях Transformer, механизме внимания, GPT, BERT, ChatGPT, LLM и трансферном обучении.
Реализация TabTransformer, сети внимания для табличных данных, в Pytorch
Официальная реализация [NeurIPS2025 Oral] «Вентилируемое внимание (Gated Attention) для больших языковых моделей: нелинейность, разреженность и отсутствие поглотителя внимания (Attention-Sink-Free)»
Реализация внимания-основанного глубокого множественного обучения экземпляров в PyTorch
Трансформер на основе варианта механизма внимания с линейной сложностью по отношению к длине последовательности
[IJCV] FastComposer: Генерация изображений на несколько объектов без настройки с локализованным вниманием
[ECCV 2020] Обучение обогащенным признакам для восстановления и улучшения реальных изображений. Результаты SOTA для шумоподавления изображений, сверхвысокого разрешения и улучшения изображений.
на основе проекта высокого уровня yolo (обнаружение\поза\классификация\сегментация\): включает YOLOv5\YOLOv7\YOLOv8\ Core, исследование улучшений, SwinTransformerV2 и серию Attention. навыки обучения, индивидуальная настройка бизнеса, инженерное развертывание C
MORAN: Сеть с исправленным вниманием для нескольких объектов для распознавания текста в сцене
[CVPR'26] ObjectClear: Точный удаление объектов и эффектов с адаптивным вниманием к целям
Достигните пошагового вывода llama3, усвойте основные концепции, освойте вывод процесса, реализуйте код.
Визуальный инструмент анализа для изучения выученных представлений в моделях Transformers
[CVPR 2021, Устный доклад] PREDATOR: Регистрация 3D-облаков точек с низким перекрытием.
[ICLR2025 Spotlight🔥] Официальная реализация TokenFormer: Переосмысление масштабирования Transformer с использованием токенизированных параметров модели
Реализация Enformer, сети внимания Deepmind для прогнозирования экспрессии генов, на PyTorch
Реализация 💍 Ring Attention от Liu et al. из Berkeley AI на Pytorch
Официальная реализация на PyTorch статьи "SAITS: Импутация на основе Self-Attention для временных рядов". Быстрая и передовая (SOTA) модель глубокого обучения нейронной сети для эффективной импутации временных рядов (импутация многомерных неполных временных рядов, содержащих пропущенные данные/значения NaN, с помощью машинного обучения). https://arxiv.org/abs/2202.08516
Часто задаваемые вопросы
Какой репозиторий по теме #attention-mechanism наиболее популярен на GitHub?
Самый высоко оценённый проект с открытым исходным кодом по теме #attention-mechanism на GitHub — rasbt/LLMs-from-scratch, набравший 108,745 звёзд. Реализуйте LLM, подобный ChatGPT, в PyTorch с нуля, шаг за шагом
Какие языки программирования чаще всего используются в репозиториях по теме #attention-mechanism?
Среди наиболее высоко оценённых проектов по теме #attention-mechanism на GitHub чаще всего используются языки программирования Python, Jupyter Notebook, Rust, Swift.
Как рассчитывается рейтинг репозиториев по теме #attention-mechanism?
Мы отслеживаем 50 активных репозиториев с открытым исходным кодом, отмеченных тегом #attention-mechanism (500 и более звёзд), с общим числом 274,514 звёзд и в среднем 5,490 звёзд на репозиторий. Рейтинги обновляются ежедневно на основе данных GitHub API.