Git Stars Git Stars

#attention-mechanism 仓库

探索 50 个标记为 #attention-mechanism 的活跃开源 GitHub 仓库,它们累计获得 274,514 个 Star(平均每个项目 5,490 个)。该主题的领先项目是 rasbt/LLMs-from-scratch,拥有 108,745 个 Star。

50
仓库总数
274,514
总星标数
5,490
平均每个仓库星标数
1
rasbt/LLMs-from-scratch

从头开始,一步一步用 PyTorch 实现一个类似 ChatGPT 的 LLM

rasbt
⭐ 108,745 Jupyter Notebook 👤 rasbt User 🕐 已更新 2026-11-20 📅 创建时间 2023-07-23
2
lucidrains/vit-pytorch

在Pytorch中实现Vision Transformer,一种仅使用单个Transformer编码器即可在视觉分类中获得SOTA的简单方法

lucidrains
⭐ 25,588 Python 👤 lucidrains User 🕐 已更新 2026-11-07 📅 创建时间 2020-10-03
3
Dao-AILab/flash-attention

快速且内存高效的精确注意力

Dao-AILab
⭐ 25,330 Python 👤 Dao-AILab Organization 🕐 已更新 2026-11-21 📅 创建时间 2022-05-19
4
nndl/nndl

邱锡鹏《神经网络与深度学习》第二版与通识版:电子书、章节目录、学习资源与勘误。

nndl
⭐ 19,627 👤 nndl Organization 🕐 已更新 2026-09-06 📅 创建时间 2016-09-06
5
BlinkDL/RWKV-LM

RWKV(发音为 RwaKuv)是一种具有出色 LLM 性能的 RNN,也可以像 GPT transformer 一样直接训练(可并行化)。我们目前使用的是 RWKV-7 "Goose"。因此,它结合了 RNN 和 transformer 的优点——出色的性能、线性时间、恒定空间(无 kv-缓存)、快速训练、无限上下文长度以及免费的句子嵌入。

BlinkDL
⭐ 14,786 Python 👤 BlinkDL User 🕐 已更新 2026-11-04 📅 创建时间 2021-08-08
6
facebookresearch/xformers

可破解和优化的 Transformer 构建块,支持可组合的构建。

facebookresearch
⭐ 10,579 Python 👤 facebookresearch Organization 🕐 已更新 2026-11-13 📅 创建时间 2021-10-13
7
lucidrains/x-transformers

一个简洁但完整的全注意力Transformer,包含来自不同论文的一系列有前景的实验特性

lucidrains
⭐ 5,966 Python 👤 lucidrains User 🕐 已更新 2026-11-18 📅 创建时间 2020-10-24
8
lucidrains/DALLE-pytorch

在PyTorch中实现/复刻OpenAI的文本到图像Transformer DALL-E

lucidrains
⭐ 5,632 Python 👤 lucidrains User 🕐 已更新 2024-02-17 📅 创建时间 2021-01-05
9
cmhungsteve/Awesome-Transformer-Attention

Vision Transformer/Attention 的一个最终全面论文列表,包括论文、代码和相关网站

cmhungsteve
⭐ 4,987 👤 cmhungsteve User 🕐 已更新 2024-07-30 📅 创建时间 2021-09-15
10
ruvnet/RuVector

RuVector 提供高性能的实时决策与智能体记忆、自学习人工智能,以及采用 Rust 构建的向量 GNN 数据库。

ruvnet
⭐ 4,713 Rust 👤 ruvnet User 🕐 已更新 2026-11-21 📅 创建时间 2025-11-19
11
raiyanyahya/how-to-train-your-gpt

从零构建一个现代LLM。每行都有注释。像对五岁孩子一样解释。

raiyanyahya
⭐ 4,183 Jupyter Notebook 👤 raiyanyahya User 🕐 已更新 2026-10-26 📅 创建时间 2026-05-03
12
MLNLP-World/LLMs-from-scratch-CN

LLMs-from-scratch项目中文翻译

MLNLP-World
⭐ 3,100 Jupyter Notebook 👤 MLNLP-World Organization 🕐 已更新 2026-04-19 📅 创建时间 2025-01-20
13
sunsmarterjie/yolov12

[NeurIPS 2025] YOLOv12: 以注意力为中心的高效实时目标检测器

sunsmarterjie
⭐ 2,967 Python 👤 sunsmarterjie User 🕐 已更新 2026-10-25 📅 创建时间 2025-02-06
14
linto-ai/whisper-timestamped

具有词级时间戳和置信度的多语言自动语音识别

linto-ai
⭐ 2,860 Python 👤 linto-ai Organization 🕐 已更新 2026-09-28 📅 创建时间 2023-01-13
15
philipperemy/keras-attention

Keras注意层(Luong和Bahdanau得分)。

philipperemy
⭐ 2,809 Python 👤 philipperemy User 🕐 已更新 2026-03-12 📅 创建时间 2017-05-23
16
aburkov/theLMbook

这是 Andriy Burkov 的《百页语言模型书》的官方代码库

aburkov
⭐ 2,194 Jupyter Notebook 👤 aburkov User 🕐 已更新 2026-02-08 📅 创建时间 2024-06-28
17
flybirdxx/ComfyUI-Qwen-TTS

Qwen3-TTS ComfyUI 的简单实现

flybirdxx
⭐ 1,981 Python 👤 flybirdxx User 🕐 已更新 2026-11-10 📅 创建时间 2026-01-22
18
amitshekhariitbhu/llm-internals

逐步学习 LLM 内部机制 - 从分词到注意力机制再到推理优化。

amitshekhariitbhu
⭐ 1,774 👤 amitshekhariitbhu User 🕐 已更新 2026-11-20 📅 创建时间 2026-04-12
19
lucidrains/soundstorm-pytorch

Google Deepmind 的 SoundStorm,高效并行音频生成,在 Pytorch 中的实现

lucidrains
⭐ 1,545 Python 👤 lucidrains User 🕐 已更新 2025-04-24 📅 创建时间 2023-05-17
20
yulunzhang/RCAN

我们的 ECCV 2018 论文 "Image Super-Resolution Using Very Deep Residual Channel Attention Networks" 的 PyTorch 代码

yulunzhang
⭐ 1,497 Python 👤 yulunzhang User 🕐 已更新 2025-04-01 📅 创建时间 2018-07-03
22
meta-pytorch/attention-gym

用于处理 flex-attention 的有用工具和示例

meta-pytorch
⭐ 1,274 Python 👤 meta-pytorch Organization 🕐 已更新 2026-11-21 📅 创建时间 2024-07-31
23
lucidrains/perceiver-pytorch

在PyTorch中实现Perceiver,一种具有迭代注意力的通用感知模型

lucidrains
⭐ 1,223 Python 👤 lucidrains User 🕐 已更新 2026-10-26 📅 创建时间 2021-03-05
24
awslabs/sockeye

基于 PyTorch 的序列到序列框架,专注于神经机器翻译

awslabs
⭐ 1,217 Python 👤 awslabs Organization 🕐 已更新 2024-10-24 📅 创建时间 2017-06-08
25
chengtan9907/OpenSTL

OpenSTL:时空预测学习的综合基准

chengtan9907
⭐ 1,165 Python 👤 chengtan9907 User 🕐 已更新 2026-03-01 📅 创建时间 2022-07-27
26
SuperBruceJia/EEG-DL

一个基于 TensorFlow 的深度学习库,用于 EEG 任务(信号)分类。

SuperBruceJia
⭐ 1,162 Python 👤 SuperBruceJia User 🕐 已更新 2025-07-20 📅 创建时间 2020-04-30
27
cedrickchee/awesome-transformer-nlp

一个精选的NLP资源列表,专注于Transformer网络、注意力机制、GPT、BERT、ChatGPT、LLM以及迁移学习。

cedrickchee
⭐ 1,124 👤 cedrickchee User 🕐 已更新 2024-10-27 📅 创建时间 2019-01-13
28
lucidrains/tab-transformer-pytorch

在Pytorch中实现TabTransformer,一个用于表格数据的注意力网络

lucidrains
⭐ 1,097 Python 👤 lucidrains User 🕐 已更新 2026-01-08 📅 创建时间 2020-12-15
29
qiuzh20/gated_attention

[NeurIPS2025 Oral] 大型语言模型的门控注意力:非线性、稀疏性与无注意力汇聚(Attention-Sink-Free)的官方实现

qiuzh20
⭐ 994 Jupyter Notebook 👤 qiuzh20 User 🕐 已更新 2025-12-20 📅 创建时间 2025-05-09
30
AMLab-Amsterdam/AttentionDeepMIL

PyTorch中基于注意力的深度多实例学习实现

AMLab-Amsterdam
⭐ 965 Python 👤 AMLab-Amsterdam Organization 🕐 已更新 2024-01-08 📅 创建时间 2018-02-26
31
lucidrains/linear-attention-transformer

基于序列长度线性复杂度的注意力变体的Transformer

lucidrains
⭐ 821 Python 👤 lucidrains User 🕐 已更新 2024-05-05 📅 创建时间 2020-06-04
32
mit-han-lab/fastcomposer

[IJCV] FastComposer: 具有局部注意力的无调优多主题图像生成

mit-han-lab
⭐ 716 Python 👤 mit-han-lab Organization 🕐 已更新 2025-01-10 📅 创建时间 2023-05-17
33
swz30/MIRNet

[ECCV 2020] 学习用于真实图像恢复和增强的丰富特征。图像去噪、超分辨率和图像增强的 SOTA 结果。

swz30
⭐ 708 Python 👤 swz30 User 🕐 已更新 2024-04-18 📅 创建时间 2020-03-11
34
positive666/yolo_research

基于yolo-high-level项目(检测\姿态\分类\分割\):包含yolov5\yolov7\yolov8\核心,改进研究,SwinTransformerV2和Attention Series。训练技巧,业务定制,工程部署C

positive666
⭐ 667 Python 👤 positive666 User 🕐 已更新 2026-04-27 📅 创建时间 2021-02-25
35
Canjie-Luo/MORAN_v2

MORAN:一种用于场景文本识别的多物体校正注意力网络

Canjie-Luo
⭐ 648 Python 👤 Canjie-Luo User 🕐 已更新 2024-07-25 📅 创建时间 2019-01-09
36
zjx0101/ObjectClear

【CVPR'26】ObjectClear:使用自适应目标感知注意力的精准物体与效果移除

zjx0101
⭐ 634 Python 👤 zjx0101 User 🕐 已更新 2026-08-03 📅 创建时间 2025-05-28
37
therealoliver/Deepdive-llama3-from-scratch

逐步实现 llama3 推理,掌握核心概念,精通过程推导,实现代码。

therealoliver
⭐ 629 Jupyter Notebook 👤 therealoliver User 🕐 已更新 2025-02-24 📅 创建时间 2025-02-19
38
kyegomez/zeta

使用模块化构建块构建高性能AI模型

kyegomez
⭐ 605 Python 👤 kyegomez User 🕐 已更新 2026-11-16 📅 创建时间 2023-07-09
39
bhoov/exbert

用于探索 Transformer 模型中学习表示的可视化分析工具

bhoov
⭐ 602 Python 👤 bhoov User 🕐 已更新 2024-02-07 📅 创建时间 2019-10-14
40
prs-eth/OverlapPredator

[CVPR 2021, 口头报告] PREDATOR:具有低重叠度的3D点云配准。

prs-eth
⭐ 599 Python 👤 prs-eth Organization 🕐 已更新 2025-02-20 📅 创建时间 2020-11-24
41
Haiyang-W/TokenFormer

[ICLR2025 Spotlight🔥] TokenFormer官方实现:用 Tokenized 模型参数重新思考 Transformer 扩展

Haiyang-W
⭐ 590 Python 👤 Haiyang-W User 🕐 已更新 2025-02-11 📅 创建时间 2024-10-29
43
lucidrains/enformer-pytorch

在Pytorch中实现Deepmind用于预测基因表达的注意力网络 Enformer

lucidrains
⭐ 576 Python 👤 lucidrains User 🕐 已更新 2026-06-26 📅 创建时间 2021-10-23
44
philipturner/metal-flash-attention

FlashAttention (Metal 端口)

philipturner
⭐ 570 Swift 👤 philipturner User 🕐 已更新 2024-09-22 📅 创建时间 2023-06-23
45
wgcban/ChangeFormer

[IGARSS'22]:一种基于Transformer的Siamese网络用于变化检测

wgcban
⭐ 555 Python 👤 wgcban User 🕐 已更新 2024-01-31 📅 创建时间 2021-12-02
46
lucidrains/ring-attention-pytorch

Berkeley AI 的 Liu 等人在 Pytorch 中实现 💍 Ring Attention

lucidrains
⭐ 547 Python 👤 lucidrains User 🕐 已更新 2025-05-16 📅 创建时间 2024-02-14
47
kyegomez/RT-2

RT-2 的民主化 “RT-2:新模型将愿景和语言转化为行动”

kyegomez
⭐ 539 Python 👤 kyegomez User 🕐 已更新 2024-07-26 📅 创建时间 2023-07-28
48
WenjieDu/SAITS

论文“SAITS: 基于自注意力的时间序列插补”的官方PyTorch实现。一个快速且最先进的(SOTA)深度学习神经网络模型,用于高效的时间序列插补(使用机器学习插补包含NaN缺失数据/值的多变量不完整时间序列)。https://arxiv.org/abs/2202.08516

WenjieDu
⭐ 521 Python 👤 WenjieDu User 🕐 已更新 2026-08-25 📅 创建时间 2021-12-07
49
zhengchen1999/DAT

[ICCV'23] 用于图像超分辨率的双重聚合Transformer

zhengchen1999
⭐ 517 Python 👤 zhengchen1999 User 🕐 已更新 2024-11-26 📅 创建时间 2022-11-10
50
lucidrains/slot-attention

Google AI 的 Slot Attention 实现

lucidrains
⭐ 502 Python 👤 lucidrains User 🕐 已更新 2026-06-06 📅 创建时间 2020-06-29

常见问题解答

1

GitHub 上最受欢迎的 #attention-mechanism 仓库是什么?

GitHub 上排名第一的开源 #attention-mechanism 项目是 rasbt/LLMs-from-scratch,拥有 108,745 个 Star。从头开始,一步一步用 PyTorch 实现一个类似 ChatGPT 的 LLM

2

#attention-mechanism 仓库中最常使用的编程语言有哪些?

在 GitHub 上排名靠前的 #attention-mechanism 项目中,最常见的编程语言是 Python, Jupyter Notebook, Rust, Swift。

3

#attention-mechanism 仓库的排名是如何计算的?

我们跟踪了 50 个标记为 #attention-mechanism 且拥有 500+ 个 Star 的活跃开源仓库,共计获得 274,514 个 Star,平均每个仓库拥有 5,490 个 Star。排名每日根据 GitHub API 更新。