#attention-mechanisms Репозитории
Откройте для себя 39 активных репозиториев с открытым исходным кодом на GitHub, отмеченных тегом #attention-mechanisms, с общим числом 77,773 звёзд (в среднем 1,994 на проект). Лидером этой темы является lucidrains/PaLM-rlhf-pytorch, набравший 7,858 звёзд.
Всего репозиториев: 39
Реализация RLHF (обучение с подкреплением на основе обратной связи от человека) поверх архитектуры PaLM. По сути, ChatGPT, но с PaLM
[ICLR 2024] Эффективные потоковые языковые модели с центром внимания (Attention Sinks)
В конечном итоге исчерпывающий список работ по Vision Transformer/Attention, включая статьи, коды и связанные веб-сайты
Deformable DETR: Деформируемые трансформеры для сквозного обнаружения объектов.
Первая открытая авторегрессионная основополагающая видеомодель с искусственным интеллектом.
Краткое изложение связанных работ по визуальному вниманию. Соответствующий код будет постепенно выпускаться на основе Jittor.
Реализация AudioLM, передового подхода к моделированию языка для генерации аудио от Google Research, на Pytorch
Реализация Self-Attention Generative Adversarial Networks (SAGAN) на PyTorch
Внедрение Toolformer, языковых моделей, которые могут использовать инструменты, от MetaAI
Реализация Make-A-Video, нового генератора текста в видео SOTA от Meta AI, на Pytorch
Временная графовая сверточная сеть для прогнозирования городского транспортного потока
[CVPR 2025] Обучение полей потока во внимании для контролируемой генерации изображений людей
Самые полные модули «подключай и работай» для всей сети в 2025 году, доступны бесплатно! CVPR2025, AAAI2025, ICLR2025, TNNLS2025, arXiv2025...... Включает все области искусственного интеллекта (машинное обучение, глубокое обучение и т. д.), подходит для классификации изображений, обнаружения объектов, сегментации экземпляров, семантической сегментации, паноптической сегментации, оценки позы, сегментации медицинских изображений, сегментации объектов видео, вырезания изображений, редактирования изображений, отслеживания одиночных объектов, отслеживания нескольких объектов, переидентификации личности, RGBT, шумоподавления изображений, удаления дождя, удаления тумана, удаления теней, удаления размытия, сверхразрешения, удаления отражений, удаления муара, восстановления изображений, реставрации изображений, восстановления гиперспектральных изображений, слияния изображений, колоризации изображений, обработки изображений с расширенным динамическим диапазоном, сжатия видео и изображений, 3D облаков точек, 3D обнаружения объектов, 3D семантической сегментации, 3D оценки позы и других задач компьютерного зрения и обработки изображений, а также обработки естественного языка, больших языковых моделей, мультимодальности и других задач, связанных с ИИ. Постоянное обновление......
CVPR2023 - Активация большего количества пикселей в трансформере для сверхвысокого разрешения изображений TPAMI - HAT: Гибридный трансформер внимания для восстановления изображений
LLM Transparency Tool (LLM-TT) — интерактивный набор инструментов с открытым исходным кодом для анализа внутренней работы языковых моделей на основе Transformer. *Посмотрите демонстрацию по адресу:* https://huggingface.co/spaces/facebook/llm-transparency-tool-demo
Передовые мультимодальные базовые модели для понимания изображений и видео
Реализация Band Split Roformer, сети внимания SOTA для разделения музыкальных источников из ByteDance AI Labs
[ICLR 2025] Samba: Простые гибридные модели пространства состояний для эффективного языкового моделирования с неограниченным контекстом
Список статей о некоторых недавних работах по сжатию токенов для Vit и VLM
Реализация Muse: Генерация изображений по тексту с помощью маскированных генеративных трансформеров в Pytorch
Реализация MeshGPT, генерация сетки SOTA с использованием Attention, в Pytorch
Реализация Phenaki Video на Pytorch, который использует Mask GIT для создания управляемых текстом видео продолжительностью до 2 минут
Реализация механизма внимания "plug-in and play" из "LongNet: Масштабирование трансформеров до 1 000 000 000 токенов"
PyTorch LSTM-автоэнкодер с двойным вниманием для многомерных временных рядов
Реализация MEGABYTE, Предсказание миллионнобайтных последовательностей с помощью многомасштабных трансформеров, в Pytorch
Неофициальная реализация iTransformer - SOTA прогнозирование временных рядов с использованием сетей внимания, от Tsinghua / Ant group
🦖Реализация на Pytorch популярных механизмов внимания, Vision Transformers, MLP-подобных моделей и CNN.🔥🔥🔥
Часто задаваемые вопросы
Какой репозиторий по теме #attention-mechanisms наиболее популярен на GitHub?
Самый высоко оценённый проект с открытым исходным кодом по теме #attention-mechanisms на GitHub — lucidrains/PaLM-rlhf-pytorch, набравший 7,858 звёзд. Реализация RLHF (обучение с подкреплением на основе обратной связи от человека) поверх архитектуры PaLM. По сути, ChatGPT, но с PaLM
Какие языки программирования чаще всего используются в репозиториях по теме #attention-mechanisms?
Среди наиболее высоко оценённых проектов по теме #attention-mechanisms на GitHub чаще всего используются языки программирования Python, Jupyter Notebook, TypeScript.
Как рассчитывается рейтинг репозиториев по теме #attention-mechanisms?
Мы отслеживаем 39 активных репозиториев с открытым исходным кодом, отмеченных тегом #attention-mechanisms (500 и более звёзд), с общим числом 77,773 звёзд и в среднем 1,994 звёзд на репозиторий. Рейтинги обновляются ежедневно на основе данных GitHub API.