Git Stars Git Stars

#attention-mechanisms 仓库

探索 39 个标记为 #attention-mechanisms 的活跃开源 GitHub 仓库,它们累计获得 77,773 个 Star(平均每个项目 1,994 个)。该主题的领先项目是 lucidrains/PaLM-rlhf-pytorch,拥有 7,858 个 Star。

39
仓库总数
77,773
总星标数
1,994
平均每个仓库星标数
1
lucidrains/PaLM-rlhf-pytorch

在 PaLM 架构之上实现 RLHF(基于人类反馈的强化学习)。基本上是 ChatGPT,但使用 PaLM

lucidrains
⭐ 7,858 Python 👤 lucidrains User 🕐 已更新 2026-09-20 📅 创建时间 2022-12-09
2
lllyasviel/Omost

您的图片几乎就绪!

lllyasviel
⭐ 7,661 Python 👤 lllyasviel User 🕐 已更新 2024-07-26 📅 创建时间 2024-05-29
3
mit-han-lab/streaming-llm

[ICLR 2024] 具备注意力汇聚点的流式高效语言模型

mit-han-lab
⭐ 7,165 Python 👤 mit-han-lab Organization 🕐 已更新 2024-07-11 📅 创建时间 2023-09-29
5
cmhungsteve/Awesome-Transformer-Attention

Vision Transformer/Attention 的一个最终全面论文列表,包括论文、代码和相关网站

cmhungsteve
⭐ 4,987 👤 cmhungsteve User 🕐 已更新 2024-07-30 📅 创建时间 2021-09-15
6
fundamentalvision/Deformable-DETR

Deformable DETR:用于端到端目标检测的可变形Transformer。

fundamentalvision
⭐ 3,846 Python 👤 fundamentalvision Organization 🕐 已更新 2024-05-16 📅 创建时间 2020-11-30
7
Everlyn-Labs/Everlyn-1

首个开放式自回归基础视频AI模型。

Everlyn-Labs
⭐ 2,891 👤 Everlyn-Labs Organization 🕐 已更新 2026-10-07 📅 创建时间 2024-10-13
8
MenghaoGuo/Awesome-Vision-Attentions

视觉注意力的相关论文摘要。 Jittor 的相关代码将逐步发布。

MenghaoGuo
⭐ 2,844 Python 👤 MenghaoGuo User 🕐 已更新 2024-10-20 📅 创建时间 2021-09-01
9
lucidrains/audiolm-pytorch

在 Pytorch 中实现 Google Research 的 SOTA 语言建模方法 AudioLM,用于音频生成

lucidrains
⭐ 2,620 Python 👤 lucidrains User 🕐 已更新 2025-01-12 📅 创建时间 2022-09-09
10
heykeetae/Self-Attention-GAN

Self-Attention Generative Adversarial Networks (SAGAN) 的 PyTorch 实现

heykeetae
⭐ 2,603 Python 👤 heykeetae User 🕐 已更新 2024-04-22 📅 创建时间 2018-05-28
11
lucidrains/toolformer-pytorch

MetaAI 实现 Toolformer:能够使用工具的语言模型

lucidrains
⭐ 2,055 Python 👤 lucidrains User 🕐 已更新 2024-07-22 📅 创建时间 2023-02-10
12
lucidrains/make-a-video-pytorch

在Pytorch中实现Meta AI的新SOTA文本转视频生成器Make-A-Video

lucidrains
⭐ 1,983 Python 👤 lucidrains User 🕐 已更新 2024-05-03 📅 创建时间 2022-09-29
13
lehaifeng/T-GCN

用于城市交通流量预测的时间图卷积网络方法

lehaifeng
⭐ 1,782 Jupyter Notebook 👤 lehaifeng User 🕐 已更新 2025-09-01 📅 创建时间 2018-11-12
14
lucidrains/alphafold3-pytorch

在Pytorch中实现Google Deepmind的Alphafold 3

lucidrains
⭐ 1,700 Python 👤 lucidrains User 🕐 已更新 2026-08-10 📅 创建时间 2024-05-08
15
franciszzj/Leffa

[CVPR 2025] 学习注意力中的流场以实现可控的人物图像生成

franciszzj
⭐ 1,675 Python 👤 franciszzj User 🕐 已更新 2025-09-12 📅 创建时间 2024-12-05
16
AIFengheshu/Plug-play-modules

2025年全网最全即插即用模块,免费分享!CVPR2025,AAAI2025,ICLR2025,TNNLS2025,arXiv2025......包含人工智能全领域(机器学习、深度学习等),适用于图像分类、目标检测、实例分割、语义分割、全景分割、姿态识别、医学图像分割、视频目标分割、图像抠图、图像编辑、单目标跟踪、多目标跟踪、行人重识别、RGBT、图像去噪、去雨、去雾、去阴影、去模糊、超分辨率、去反光、去摩尔纹、图像恢复、图像修复、高光谱图像恢复、图像融合、图像上色、高动态范围成像、视频与图像压缩、3D点云、3D目标检测、3D语义分割、3D姿态识别等各类计算机视觉和图像处理任务,以及自然语言处理、大语言模型、多模态等其他各类人工智能相关任务。持续更新中......

AIFengheshu
⭐ 1,547 Python 👤 AIFengheshu User 🕐 已更新 2025-05-24 📅 创建时间 2024-10-09
17
XPixelGroup/HAT

CVPR2023 - 图像超分辨率 Transformer 中的更多像素激活 TPAMI - HAT: 用于图像恢复的混合注意力 Transformer

XPixelGroup
⭐ 1,455 Python 👤 XPixelGroup Organization 🕐 已更新 2024-06-02 📅 创建时间 2022-04-27
18
facebookresearch/llm-transparency-tool

LLM Transparency Tool (LLM-TT),一个用于分析基于 Transformer 的语言模型内部工作原理的开源交互式工具包。*在此处查看演示:* https://huggingface.co/spaces/facebook/llm-transparency-tool-demo

facebookresearch
⭐ 1,228 Python 👤 facebookresearch Organization 🕐 已更新 2024-12-03 📅 创建时间 2023-12-21
19
DAMO-NLP-SG/VideoLLaMA3

用于图像和视频理解的前沿多模态基础模型

DAMO-NLP-SG
⭐ 1,174 Jupyter Notebook 👤 DAMO-NLP-SG Organization 🕐 已更新 2025-08-14 📅 创建时间 2025-01-19
20
gpu-mode/awesomeMLSys

ML系统入职列表

gpu-mode
⭐ 1,154 👤 gpu-mode Organization 🕐 已更新 2026-02-19 📅 创建时间 2024-05-06
21
zhuzilin/ring-flash-attention

使用Flash Attention实现Ring Attention

zhuzilin
⭐ 1,054 Python 👤 zhuzilin User 🕐 已更新 2025-09-10 📅 创建时间 2024-02-21
22
lucidrains/BS-RoFormer

ByteDance AI Labs 的音乐源分离 SOTA 注意力网络 Band Split Roformer 的实现

lucidrains
⭐ 1,030 Python 👤 lucidrains User 🕐 已更新 2026-11-04 📅 创建时间 2023-09-09
23
microsoft/Samba

[ICLR 2025] Samba: 用于高效无限上下文语言建模的简单混合状态空间模型

microsoft
⭐ 981 Python 👤 microsoft Organization 🕐 已更新 2025-11-16 📅 创建时间 2024-06-05
24
daixiangzi/Awesome-Token-Compress

一份关于Vit和VLM的Token Compress的近期工作论文列表

daixiangzi
⭐ 966 👤 daixiangzi User 🕐 已更新 2026-11-13 📅 创建时间 2024-09-06
25
lucidrains/muse-maskgit-pytorch

Muse 实现:通过 Pytorch 中的掩码生成式 Transformer 进行文本到图像生成

lucidrains
⭐ 920 Python 👤 lucidrains User 🕐 已更新 2024-02-29 📅 创建时间 2023-01-03
26
lucidrains/meshgpt-pytorch

在 Pytorch 中实现 MeshGPT,使用 Attention 的 SOTA 网格生成

lucidrains
⭐ 858 Python 👤 lucidrains User 🕐 已更新 2024-12-24 📅 创建时间 2023-11-29
27
mystorm16/FastVGGT

[ICLR 2026] FastVGGT: 快速视觉几何变换器

mystorm16
⭐ 826 Python 👤 mystorm16 User 🕐 已更新 2026-01-28 📅 创建时间 2025-09-01
28
lucidrains/phenaki-pytorch

PyTorch 中 Phenaki Video 的实现,它使用 Mask GIT 来生成长达 2 分钟的文本引导视频

lucidrains
⭐ 792 Python 👤 lucidrains User 🕐 已更新 2024-07-29 📅 创建时间 2022-09-29
29
D-Keqi/mtla

MTLA: 多头时序潜在注意力

D-Keqi
⭐ 761 Python 👤 D-Keqi User 🕐 已更新 2025-10-06 📅 创建时间 2025-05-19
31
kyegomez/LongNet

“LongNet: Scaling Transformers to 1,000,000,000 Tokens” 的即插即用注意力机制的实现

kyegomez
⭐ 715 Python 👤 kyegomez User 🕐 已更新 2024-01-07 📅 创建时间 2023-07-06
32
JulesBelveze/time-series-autoencoder

用于多变量时间序列的 PyTorch 双注意力 LSTM-自编码器

JulesBelveze
⭐ 715 Python 👤 JulesBelveze User 🕐 已更新 2025-11-11 📅 创建时间 2020-06-05
33
lucidrains/magvit2-pytorch

在Pytorch中实现MagViT2 Tokenizer

lucidrains
⭐ 664 Python 👤 lucidrains User 🕐 已更新 2025-01-12 📅 创建时间 2023-10-10
34
LeapLabTHU/Agent-Attention

Agent Attention (ECCV2024) 官方仓库

LeapLabTHU
⭐ 657 Python 👤 LeapLabTHU User 🕐 已更新 2024-11-17 📅 创建时间 2023-12-12
35
lucidrains/MEGABYTE-pytorch

在 Pytorch 中实现 MEGABYTE:使用多尺度 Transformer 预测百万字节序列

lucidrains
⭐ 655 Python 👤 lucidrains User 🕐 已更新 2024-12-27 📅 创建时间 2023-05-15
36
lucidrains/mmdit

在 Pytorch 中实现 Stable Diffusion 3 中提出的 MMDiT 的单层

lucidrains
⭐ 564 Python 👤 lucidrains User 🕐 已更新 2026-01-18 📅 创建时间 2024-05-04
37
lucidrains/iTransformer

iTransformer的非官方实现 - 使用注意力网络的SOTA时间序列预测,来自清华/蚂蚁集团

lucidrains
⭐ 535 Python 👤 lucidrains User 🕐 已更新 2025-06-12 📅 创建时间 2023-10-11
38
changzy00/pytorch-attention

🦖流行注意力机制、Vision Transformers、类MLP模型和CNN的Pytorch实现。🔥🔥🔥

changzy00
⭐ 530 Python 👤 changzy00 User 🕐 已更新 2024-01-11 📅 创建时间 2023-05-26
39
lucidrains/local-attention

一种用于语言建模的局部窗口注意力实现

lucidrains
⭐ 502 Python 👤 lucidrains User 🕐 已更新 2025-07-16 📅 创建时间 2020-07-05

常见问题解答

1

GitHub 上最受欢迎的 #attention-mechanisms 仓库是什么?

GitHub 上排名第一的开源 #attention-mechanisms 项目是 lucidrains/PaLM-rlhf-pytorch,拥有 7,858 个 Star。在 PaLM 架构之上实现 RLHF(基于人类反馈的强化学习)。基本上是 ChatGPT,但使用 PaLM

2

#attention-mechanisms 仓库中最常使用的编程语言有哪些?

在 GitHub 上排名靠前的 #attention-mechanisms 项目中,最常见的编程语言是 Python, Jupyter Notebook, TypeScript。

3

#attention-mechanisms 仓库的排名是如何计算的?

我们跟踪了 39 个标记为 #attention-mechanisms 且拥有 500+ 个 Star 的活跃开源仓库,共计获得 77,773 个 Star,平均每个仓库拥有 1,994 个 Star。排名每日根据 GitHub API 更新。