Git Stars Git Stars

#flash-attention 仓库

探索 48 个标记为 #flash-attention 的活跃开源 GitHub 仓库,它们累计获得 156,291 个 Star(平均每个项目 3,256 个)。该主题的领先项目是 deepseek-ai/DeepSeek-OCR,拥有 24,180 个 Star。

48
仓库总数
156,291
总星标数
3,256
平均每个仓库星标数
1
deepseek-ai/DeepSeek-OCR

光学压缩上下文

deepseek-ai
⭐ 24,180 Python 👤 deepseek-ai Organization 🕐 已更新 2026-01-27 📅 创建时间 2025-10-17
2
QwenLM/Qwen

Alibaba Cloud 提出的 Qwen (通义千问) 聊天与预训练大语言模型的官方仓库。

QwenLM
⭐ 22,063 Python 👤 QwenLM Organization 🕐 已更新 2026-03-05 📅 创建时间 2023-08-03
3
xlite-dev/LeetCUDA

一本面向初学者的现代 CUDA 学习笔记开源书籍——BF16/FP8/FP4、HGEMM、CuTe、Flash-Attention 等。

xlite-dev
⭐ 12,208 TeX 👤 xlite-dev Organization 🕐 已更新 2026-11-20 📅 创建时间 2022-12-17
5
InternLM/InternLM

InternLM 系列(InternLM、InternLM2、InternLM2.5、InternLM3)正式发布。

InternLM
⭐ 7,280 Python 👤 InternLM Organization 🕐 已更新 2025-10-30 📅 创建时间 2023-07-06
6
ymcui/Chinese-LLaMA-Alpaca-2

中文LLaMA-2 & Alpaca-2大模型二期项目 + 64K超长上下文模型 (Chinese LLaMA-2 & Alpaca-2 LLMs with 64K long context models)

ymcui
⭐ 7,098 Python 👤 ymcui User 🕐 已更新 2026-04-19 📅 创建时间 2023-07-18
7
karminski/one-small-step

这是一个简单的技术科普教程项目,主要聚焦于解释一些有趣的,前沿的技术概念和原理。每篇文章都力求在 5 分钟内阅读完成。

karminski
⭐ 7,006 Python 👤 karminski User 🕐 已更新 2026-03-08 📅 创建时间 2025-01-16
9
xlite-dev/Awesome-LLM-Inference

📚精选的超棒 LLM/VLM 推理论文及代码列表:Flash-Attention、Paged-Attention、WINT8/4、并行化等。🎉

xlite-dev
⭐ 5,565 Python 👤 xlite-dev Organization 🕐 已更新 2026-10-20 📅 创建时间 2023-08-27
10
turboderp-org/exllamav2

在现代消费级GPU上本地运行LLM的快速推理库

turboderp-org
⭐ 4,653 Python 👤 turboderp-org Organization 🕐 已更新 2026-03-04 📅 创建时间 2023-08-30
11
QwenLM/Qwen3-ASR

Qwen3-ASR 是阿里云 Qwen 团队开发的一系列开源 ASR 模型,支持稳定的多语言语音/音乐/歌曲识别、语言检测以及时间戳预测。

QwenLM
⭐ 3,933 Python 👤 QwenLM Organization 🕐 已更新 2026-06-26 📅 创建时间 2026-01-28
12
HazyResearch/ThunderKittens

快速内核的瓦片基元

HazyResearch
⭐ 3,805 Cuda 👤 HazyResearch Organization 🕐 已更新 2026-09-12 📅 创建时间 2024-03-04
13
guandeh17/Self-Forcing

“Self Forcing: Bridging Training and Inference in Autoregressive Video Diffusion” (NeurIPS 2025 Spotlight) 的官方代码库

guandeh17
⭐ 3,511 Python 👤 guandeh17 User 🕐 已更新 2025-09-12 📅 创建时间 2025-06-09
14
ikawrakow/ik_llama.cpp

带有附加 SOTA 量化和性能改进的 llama.cpp 分支 fork

ikawrakow
⭐ 3,411 C++ 👤 ikawrakow User 🕐 已更新 2026-11-21 📅 创建时间 2024-06-27
16
MoonshotAI/MoBA

MoBA: 适用于长上下文LLM的块注意力混合

MoonshotAI
⭐ 2,122 Python 👤 MoonshotAI Organization 🕐 已更新 2025-04-03 📅 创建时间 2025-02-17
17
Ucas-HaoranWei/Vary

[ECCV 2024] Vary: 扩展大型视觉语言模型视觉词汇量的官方代码实现。

Ucas-HaoranWei
⭐ 1,888 Python 👤 Ucas-HaoranWei User 🕐 已更新 2024-12-30 📅 创建时间 2023-12-07
19
allenai/Olmo-core

OLMo生态系统的PyTorch构建模块

allenai
⭐ 1,810 Python 👤 allenai Organization 🕐 已更新 2026-11-21 📅 创建时间 2024-03-23
20
mjun0812/flash-attention-prebuild-wheels

使用 GitHub Actions 在 Linux 和 Windows 上提供预构建的 flash-attention 2 和 3 包轮

mjun0812
⭐ 1,798 Python 👤 mjun0812 User 🕐 已更新 2026-11-21 📅 创建时间 2024-10-26
21
Soul-AILab/SoulX-FlashTalk

SoulX-FlashTalk 是首个在 8xH800 节点上实现亚秒级启动延迟(0.87s),同时保持 32 FPS 实时吞吐量的 14B 模型。

Soul-AILab
⭐ 1,572 Python 👤 Soul-AILab Organization 🕐 已更新 2026-07-30 📅 创建时间 2025-12-25
23
X-Square-Robot/wall-x

基于具身基础模型的通用机器人构建

X-Square-Robot
⭐ 1,337 Python 👤 X-Square-Robot Organization 🕐 已更新 2026-09-18 📅 创建时间 2025-09-04
24
weiruihhh/cs336_note_and_hw

记录我在cs336学习时的笔记和作业

weiruihhh
⭐ 1,305 Python 👤 weiruihhh User 🕐 已更新 2026-10-10 📅 创建时间 2025-06-01
25
zhuzilin/ring-flash-attention

使用Flash Attention实现Ring Attention

zhuzilin
⭐ 1,054 Python 👤 zhuzilin User 🕐 已更新 2025-09-10 📅 创建时间 2024-02-21
26
tspeterkim/flash-attention-minimal

约100行CUDA实现Flash Attention(仅前向传播)

tspeterkim
⭐ 1,036 Cuda 👤 tspeterkim User 🕐 已更新 2024-12-30 📅 创建时间 2024-03-07
27
NVIDIA/cudnn-frontend

cuDNN Frontend 是 NVIDIA 通往 cuDNN 库的现代化开源入口,也是一个不断增长的高性能开源内核集合。

NVIDIA
⭐ 1,008 Cuda 👤 NVIDIA Organization 🕐 已更新 2026-11-21 📅 创建时间 2021-01-22
28
SandAI-org/MagiAttention

一种面向超长上下文、异构数据训练的线性可扩展分布式注意力机制

SandAI-org
⭐ 975 Python 👤 SandAI-org Organization 🕐 已更新 2026-11-21 📅 创建时间 2025-04-20
29
Alpha-VLLM/Lumina-Image-2.0

Lumina-Image 2.0:一个统一且高效的图像生成框架

Alpha-VLLM
⭐ 904 Python 👤 Alpha-VLLM Organization 🕐 已更新 2026-05-22 📅 创建时间 2025-01-25
30
TRI-ML/prismatic-vlms

用于训练视觉条件语言模型 (VLM) 的灵活高效的代码库

TRI-ML
⭐ 894 Python 👤 TRI-ML Organization 🕐 已更新 2024-07-04 📅 创建时间 2024-02-13
31
RUCAIBox/LLMBox

一个用于实现 LLM 的综合库,包括一个统一的训练管道和全面的模型评估。

RUCAIBox
⭐ 849 Python 👤 RUCAIBox Organization 🕐 已更新 2025-06-16 📅 创建时间 2023-10-25
32
NVlabs/rcm

rCM & Causal-rCM:用于大规模双向/自回归视频扩散蒸馏的领先且统一的算法/基础设施

NVlabs
⭐ 832 Python 👤 NVlabs Organization 🕐 已更新 2026-06-25 📅 创建时间 2025-10-09
35
exiawsh/StreamPETR

[ICCV 2023] StreamPETR: 探索以物体为中心的时序建模,实现高效的多视角3D物体检测

exiawsh
⭐ 754 Python 👤 exiawsh User 🕐 已更新 2024-06-26 📅 创建时间 2023-03-21
37
jzhang38/EasyContext

内存优化和训练配方,以最少的硬件将语言模型的上下文长度外推到 100 万个 token。

jzhang38
⭐ 751 Python 👤 jzhang38 User 🕐 已更新 2024-09-27 📅 创建时间 2024-04-05
38
HKUSTDial/flash-sparse-attention

可训练、快速且内存高效的稀疏注意力

HKUSTDial
⭐ 750 Python 👤 HKUSTDial Organization 🕐 已更新 2026-11-20 📅 创建时间 2025-05-12
40
yihao-meng/HoloCine

[CVPR 2026 亮点] 论文官方实现 - HoloCine:整体生成电影式多镜头长视频叙事

yihao-meng
⭐ 707 Python 👤 yihao-meng User 🕐 已更新 2025-11-26 📅 创建时间 2025-10-22
41
penghao-wu/vstar

"V* : Guided Visual Search as a Core Mechanism in Multimodal LLMs" 的 PyTorch 实现

penghao-wu
⭐ 684 Python 👤 penghao-wu User 🕐 已更新 2024-01-07 📅 创建时间 2023-12-15
42
louaaron/Score-Entropy-Discrete-Diffusion

[ICML 2024 最佳论文] 通过估计数据分布比率进行离散扩散建模 (https://arxiv.org/abs/2310.16834)

louaaron
⭐ 681 Python 👤 louaaron User 🕐 已更新 2024-02-29 📅 创建时间 2024-02-21
43
Tencent/WeDLM

WeDLM:具有标准因果注意力机制和原生 KV 缓存兼容性的最快扩散语言模型,与 vLLM 优化基线相比,实现了真正的速度提升。

Tencent
⭐ 659 Python 👤 Tencent Organization 🕐 已更新 2026-03-03 📅 创建时间 2025-12-24
44
zengxiao-he/tessera

从教师到瓦片——一个从头构建的LLM蒸馏与推理引擎:自定义Triton/CUDA内核、FSDP蒸馏、分页KV连续批处理、推测解码、Rust网关、JAX预言机以及可解释性工具。

zengxiao-he
⭐ 556 Python 👤 zengxiao-he User 🕐 已更新 2026-10-09 📅 创建时间 2026-06-05
46
mit-han-lab/duo-attention

[ICLR 2025] DuoAttention: 带有检索和流式头的高效长上下文 LLM 推理

mit-han-lab
⭐ 541 Python 👤 mit-han-lab Organization 🕐 已更新 2025-02-10 📅 创建时间 2024-10-15
47
DachengLi1/LongChat

LongChat 和 LongEval 官方仓库

DachengLi1
⭐ 533 Python 👤 DachengLi1 User 🕐 已更新 2024-05-24 📅 创建时间 2023-04-21
48
bofenghuang/vigogne

法语指令遵循和聊天模型

bofenghuang
⭐ 506 Jupyter Notebook 👤 bofenghuang User 🕐 已更新 2024-12-05 📅 创建时间 2023-03-24

常见问题解答

1

GitHub 上最受欢迎的 #flash-attention 仓库是什么?

GitHub 上排名第一的开源 #flash-attention 项目是 deepseek-ai/DeepSeek-OCR,拥有 24,180 个 Star。光学压缩上下文

2

#flash-attention 仓库中最常使用的编程语言有哪些?

在 GitHub 上排名靠前的 #flash-attention 项目中,最常见的编程语言是 Python, Cuda, TeX, C++。

3

#flash-attention 仓库的排名是如何计算的?

我们跟踪了 48 个标记为 #flash-attention 且拥有 500+ 个 Star 的活跃开源仓库,共计获得 156,291 个 Star,平均每个仓库拥有 3,256 个 Star。排名每日根据 GitHub API 更新。