Git Stars Git Stars

#sparse-attention 仓库

探索 18 个标记为 #sparse-attention 的活跃开源 GitHub 仓库,它们累计获得 62,491 个 Star(平均每个项目 3,471 个)。该主题的领先项目是 deepseek-ai/FlashMLA,拥有 13,275 个 Star。

18
仓库总数
62,491
总星标数
3,471
平均每个仓库星标数
1
deepseek-ai/FlashMLA

FlashMLA:高效的多头隐式注意力核

deepseek-ai
⭐ 13,275 C++ 👤 deepseek-ai Organization 🕐 已更新 2026-10-27 📅 创建时间 2025-02-21
2
PKU-YuanGroup/Open-Sora-Plan

本项目旨在复现 Sora (Open AI T2V 模型),我们希望开源社区为该项目做出贡献。

PKU-YuanGroup
⭐ 12,201 Python 👤 PKU-YuanGroup Organization 🕐 已更新 2026-11-18 📅 创建时间 2024-02-20
3
OpenBMB/MiniCPM

MiniCPM5:端侧最先进的大语言模型,小而强大。

OpenBMB
⭐ 11,898 Jupyter Notebook 👤 OpenBMB Organization 🕐 已更新 2026-11-09 📅 创建时间 2024-01-29
7
Tencent-Hunyuan/Prism

我们提出了 Prism,这是一种动态稀疏注意力框架,可用于原生训练 2K 分辨率的联合视频-音频生成模型。

Tencent-Hunyuan
⭐ 1,518 Python 👤 Tencent-Hunyuan Organization 🕐 已更新 2026-10-31 📅 创建时间 2026-09-21
8
thu-ml/SpargeAttn

[ICML2025] SpargeAttention:一种无需训练的稀疏注意力机制,可加速任何模型的推理。

thu-ml
⭐ 1,269 Cuda 👤 thu-ml Organization 🕐 已更新 2026-02-25 📅 创建时间 2025-02-25
9
microsoft/MInference

[NeurIPS'24 Spotlight, ICLR'25, ICML'25] 为加速长上下文LLM的推理,近似和动态稀疏计算注意力,可在A100上将预填充的推理延迟降低高达10倍,同时保持准确性。

microsoft
⭐ 1,230 Python 👤 microsoft Organization 🕐 已更新 2026-11-18 📅 创建时间 2024-05-22
10
Tencent/hpc-ops

高性能LLM推理算子库

Tencent
⭐ 1,193 C++ 👤 Tencent Organization 🕐 已更新 2026-11-19 📅 创建时间 2026-01-20
11
fla-org/native-sparse-attention

🐳 "Native Sparse Attention: Hardware-Aligned and Natively Trainable Sparse Attention" 的高效 Triton 实现

fla-org
⭐ 1,030 Python 👤 fla-org Organization 🕐 已更新 2026-02-05 📅 创建时间 2025-02-21
12
mit-han-lab/omniserve

[MLSys'25] QServe: 针对高效 LLM 推理的 W4A8KV4 量化与系统协同设计;[MLSys'25] LServe: 使用统一稀疏注意力实现高效长序列 LLM 推理

mit-han-lab
⭐ 840 C++ 👤 mit-han-lab Organization 🕐 已更新 2025-03-06 📅 创建时间 2024-05-06
13
SHI-Labs/NATTEN

快速多维稀疏注意力

SHI-Labs
⭐ 815 C++ 👤 SHI-Labs Organization 🕐 已更新 2026-07-26 📅 创建时间 2022-10-08
14
lucidrains/native-sparse-attention-pytorch

Deepseek团队在其“Native Sparse Attention”论文中提出的稀疏注意力模式的实现

lucidrains
⭐ 811 Python 👤 lucidrains User 🕐 已更新 2025-08-15 📅 创建时间 2025-02-19
15
HKUSTDial/flash-sparse-attention

可训练、快速且内存高效的稀疏注意力

HKUSTDial
⭐ 750 Python 👤 HKUSTDial Organization 🕐 已更新 2026-11-20 📅 创建时间 2025-05-12
16
svg-project/Sparse-VideoGen

[ICML2025, NeurIPS2025 Spotlight] Sparse VideoGen 1 & 2:使用稀疏注意力加速视频扩散 Transformer

svg-project
⭐ 712 Python 👤 svg-project User 🕐 已更新 2026-07-04 📅 创建时间 2025-03-09
17
mit-han-lab/radial-attention

[NeurIPS 2025] 径向注意力:具有能量衰减的 O(nlogn) 稀疏注意力,用于长视频生成

mit-han-lab
⭐ 609 Python 👤 mit-han-lab Organization 🕐 已更新 2025-11-11 📅 创建时间 2025-06-19
18
thu-ml/SLA

SLA:通过可微调的稀疏线性注意力超越扩散变换器中的稀疏性

thu-ml
⭐ 553 Python 👤 thu-ml Organization 🕐 已更新 2026-10-18 📅 创建时间 2025-09-25

常见问题解答

1

GitHub 上最受欢迎的 #sparse-attention 仓库是什么?

GitHub 上排名第一的开源 #sparse-attention 项目是 deepseek-ai/FlashMLA,拥有 13,275 个 Star。FlashMLA:高效的多头隐式注意力核

2

#sparse-attention 仓库中最常使用的编程语言有哪些?

在 GitHub 上排名靠前的 #sparse-attention 项目中,最常见的编程语言是 Python, C++, Jupyter Notebook, Cuda。

3

#sparse-attention 仓库的排名是如何计算的?

我们跟踪了 18 个标记为 #sparse-attention 且拥有 500+ 个 Star 的活跃开源仓库,共计获得 62,491 个 Star,平均每个仓库拥有 3,471 个 Star。排名每日根据 GitHub API 更新。