Git Stars Git Stars

#attention 仓库

探索 29 个标记为 #attention 的活跃开源 GitHub 仓库,它们累计获得 203,649 个 Star(平均每个项目 7,022 个)。该主题的领先项目是 labmlai/annotated_deep_learning_paper_implementations,拥有 67,780 个 Star。

29
仓库总数
203,649
总星标数
7,022
平均每个仓库星标数
1
labmlai/annotated_deep_learning_paper_implementations

🧑‍🏫 60+ 深度学习论文的实现/教程,附带旁注 📝;包括 transformers (原始,xl,switch,feedback,vit,...),优化器 (adam,adabelief,sophia,...),gans (cyclegan,stylegan2,...),🎮 强化学习 (ppo,dqn),capsnet,蒸馏,... 🧠

labmlai
⭐ 67,780 Python 👤 labmlai Organization 🕐 已更新 2026-11-02 📅 创建时间 2020-08-25
2
sgl-project/sglang

SGLang 是一个用于大型语言模型和多模态模型的高性能服务框架。

sgl-project
⭐ 38,899 Python 👤 sgl-project Organization 🕐 已更新 2026-11-21 📅 创建时间 2024-01-08
3
kyegomez/OpenMythos

使用现有研究文献,从第一性原理构建的Claude神话架构的理论重构。

kyegomez
⭐ 14,932 Python 👤 kyegomez User 🕐 已更新 2026-05-23 📅 创建时间 2026-04-18
4
graykode/nlp-tutorial

深度学习研究者的自然语言处理教程

graykode
⭐ 14,826 Jupyter Notebook 👤 graykode User 🕐 已更新 2024-02-21 📅 创建时间 2019-01-09
5
xmu-xiaoma666/External-Attention-pytorch

🍀 Pytorch 对各种注意力机制、MLP、重参数化、卷积的实现,有助于进一步理解论文。⭐⭐⭐

xmu-xiaoma666
⭐ 12,182 Python 👤 xmu-xiaoma666 User 🕐 已更新 2026-03-16 📅 创建时间 2021-05-08
6
jadore801120/attention-is-all-you-need-pytorch

“Attention is All You Need”中 Transformer 模型的 PyTorch 实现。

jadore801120
⭐ 9,576 Python 👤 jadore801120 User 🕐 已更新 2024-04-16 📅 创建时间 2017-06-14
7
flashinfer-ai/flashinfer

FlashInfer: LLM推理服务内核库

flashinfer-ai
⭐ 6,982 Cuda 👤 flashinfer-ai Organization 🕐 已更新 2026-11-21 📅 创建时间 2023-07-22
8
bentrevett/pytorch-seq2seq

使用 PyTorch 和 TorchText 实现几个序列到序列 (seq2seq) 模型的教程。

bentrevett
⭐ 5,664 Jupyter Notebook 👤 bentrevett User 🕐 已更新 2024-01-20 📅 创建时间 2018-07-17
9
hyunwoongko/transformer

Transformer: "Attention Is All You Need" 的 PyTorch 实现

hyunwoongko
⭐ 4,609 Python 👤 hyunwoongko User 🕐 已更新 2025-07-15 📅 创建时间 2019-10-15
10
km1994/nlp_paper_study

该仓库主要记录 NLP 算法工程师相关的顶会论文研读笔记。

km1994
⭐ 4,035 C++ 👤 km1994 User 🕐 已更新 2026-10-11 📅 创建时间 2019-05-18
11
thu-ml/SageAttention

[ICLR2025, ICML2025, NeurIPS2025 Spotlight] 量化注意力(Quantized Attention)相比 FlashAttention 实现了 2-5 倍的加速,同时在语言、图像和视频模型上没有损失端到端指标。

thu-ml
⭐ 4,017 Cuda 👤 thu-ml Organization 🕐 已更新 2026-01-17 📅 创建时间 2024-10-03
12
google-research/scenic

Scenic:用于计算机视觉研究及更广泛领域的 Jax 库

google-research
⭐ 3,848 Python 👤 google-research Organization 🕐 已更新 2026-10-31 📅 创建时间 2021-07-12
13
kyegomez/awesome-multi-agent-papers

最佳多智能体论文汇编

kyegomez
⭐ 1,720 TeX 👤 kyegomez User 🕐 已更新 2026-11-20 📅 创建时间 2024-02-21
14
argusswift/YOLOv4-pytorch

这是PASCAL VOC和COCO 的 YOLOv4、attentive YOLOv4 和 mobilenet YOLOv4 的 pytorch 仓库

argusswift
⭐ 1,673 Python 👤 argusswift User 🕐 已更新 2024-05-03 📅 创建时间 2020-07-19
15
lucidrains/transfusion-pytorch

Transfusion(“用一个多模态模型预测下一个 Token 和扩散图像”)的 Pytorch 实现,来自 MetaAI

lucidrains
⭐ 1,412 Python 👤 lucidrains User 🕐 已更新 2026-09-04 📅 创建时间 2024-08-23
16
thu-ml/SpargeAttn

[ICML2025] SpargeAttention:一种无需训练的稀疏注意力机制,可加速任何模型的推理。

thu-ml
⭐ 1,269 Cuda 👤 thu-ml Organization 🕐 已更新 2026-02-25 📅 创建时间 2025-02-25
17
pprp/SimpleCVReproduction

包括注意力、分类、检测、关键点检测等的简单CV项目的复制

pprp
⭐ 1,261 Jupyter Notebook 👤 pprp User 🕐 已更新 2025-08-14 📅 创建时间 2019-12-11
18
jmaczan/tiny-vllm

用C++和CUDA构建你自己的高性能LLM推理引擎——vLLM的缩小版

jmaczan
⭐ 1,207 C++ 👤 jmaczan User 🕐 已更新 2026-11-15 📅 创建时间 2026-02-09
19
NVIDIA/cudnn-frontend

cuDNN Frontend 是 NVIDIA 通往 cuDNN 库的现代化开源入口,也是一个不断增长的高性能开源内核集合。

NVIDIA
⭐ 1,008 Cuda 👤 NVIDIA Organization 🕐 已更新 2026-11-21 📅 创建时间 2021-01-22
20
ai4co/rl4co

面向组合优化 (CO) 的所有强化学习 (RL) 相关事物的 PyTorch 库

ai4co
⭐ 924 Python 👤 ai4co Organization 🕐 已更新 2026-09-14 📅 创建时间 2023-02-23
21
lucidrains/native-sparse-attention-pytorch

Deepseek团队在其“Native Sparse Attention”论文中提出的稀疏注意力模式的实现

lucidrains
⭐ 811 Python 👤 lucidrains User 🕐 已更新 2025-08-15 📅 创建时间 2025-02-19
22
hellonlp/classifier-multi-label

多标签文本分类, 多标签分类, 文本分类, multi-label, classifier, text classification, BERT, seq2seq, attention, multi-label-classification

hellonlp
⭐ 800 Python 👤 hellonlp User 🕐 已更新 2024-12-11 📅 创建时间 2020-07-13
23
kyegomez/LongNet

“LongNet: Scaling Transformers to 1,000,000,000 Tokens” 的即插即用注意力机制的实现

kyegomez
⭐ 715 Python 👤 kyegomez User 🕐 已更新 2024-01-07 📅 创建时间 2023-07-06
24
eeyhsong/EEG-Conformer

EEG Transformer 2.0。i. 用于EEG解码的卷积Transformer。ii. 新颖的可视化 - 类激活地形图。

eeyhsong
⭐ 674 Python 👤 eeyhsong User 🕐 已更新 2024-07-24 📅 创建时间 2022-07-26
25
therealoliver/Deepdive-llama3-from-scratch

逐步实现 llama3 推理,掌握核心概念,精通过程推导,实现代码。

therealoliver
⭐ 629 Jupyter Notebook 👤 therealoliver User 🕐 已更新 2025-02-24 📅 创建时间 2025-02-19
26
leondgarse/keras_cv_attention_models

Keras beit,caformer,CMT,CoAtNet,convnext,davit,dino,efficientdet,edgenext,efficientformer,efficientnet,eva,fasternet,fastervit,fastvit,flexivit,gcvit,ghostnet,gpvit,hornet,hiera,iformer,inceptionnext,lcnet,levit,maxvit,mobilevit,moganet,nat,nfnets,pvt,swin,tinynet,tinyvit,uniformer,volo,vanillanet,yolor,yolov7,yolov8,yolox,gpt2,llama2, alias kecam

leondgarse
⭐ 624 Python 👤 leondgarse User 🕐 已更新 2026-02-15 📅 创建时间 2021-08-02
27
chengchingwen/Transformers.jl

Julia 实现的 Transformer 模型

chengchingwen
⭐ 574 Julia 👤 chengchingwen User 🕐 已更新 2026-10-24 📅 创建时间 2018-12-27
28
WenjieDu/SAITS

论文“SAITS: 基于自注意力的时间序列插补”的官方PyTorch实现。一个快速且最先进的(SOTA)深度学习神经网络模型,用于高效的时间序列插补(使用机器学习插补包含NaN缺失数据/值的多变量不完整时间序列)。https://arxiv.org/abs/2202.08516

WenjieDu
⭐ 521 Python 👤 WenjieDu User 🕐 已更新 2026-08-25 📅 创建时间 2021-12-07
29
MuLabPKU/TransArch

设计硬件友好的模型架构,并以最小的性能损失迁移现有的大语言模型

MuLabPKU
⭐ 520 Python 👤 MuLabPKU Organization 🕐 已更新 2026-11-11 📅 创建时间 2025-01-02

常见问题解答

1

GitHub 上最受欢迎的 #attention 仓库是什么?

GitHub 上排名第一的开源 #attention 项目是 labmlai/annotated_deep_learning_paper_implementations,拥有 67,780 个 Star。🧑‍🏫 60+ 深度学习论文的实现/教程,附带旁注 📝;包括 transformers (原始,xl,switch,feedback,vit,...),优化器 (adam,adabelief,sophia,...),gans (cyclegan,stylegan2,...),🎮 强化学习 (ppo,dqn),capsnet,蒸馏,... 🧠

2

#attention 仓库中最常使用的编程语言有哪些?

在 GitHub 上排名靠前的 #attention 项目中,最常见的编程语言是 Python, Jupyter Notebook, Cuda, C++。

3

#attention 仓库的排名是如何计算的?

我们跟踪了 29 个标记为 #attention 且拥有 500+ 个 Star 的活跃开源仓库,共计获得 203,649 个 Star,平均每个仓库拥有 7,022 个 Star。排名每日根据 GitHub API 更新。