Git Stars Git Stars

#flash-attention 저장소

#flash-attention 태그가 지정된 GitHub의 활성 오픈 소스 저장소 48개를 확인해 보세요. 총 156,291개의 스타를 획득했으며 프로젝트당 평균 3,256개입니다. 이 주제를 이끄는 저장소는 24,180개의 스타를 받은 deepseek-ai/DeepSeek-OCR입니다.

48
총 리포지토리
156,291
총 별점
3,256
리포지토리당 평균 스타 수

저장소 총 48개

1
deepseek-ai/DeepSeek-OCR

컨텍스트 광학 압축

deepseek-ai
⭐ 24,180 Python 👤 deepseek-ai Organization 🕐 업데이트됨 2026-01-27 📅 생성됨 2025-10-17
2
QwenLM/Qwen

Alibaba Cloud에서 제공하는 Qwen(通义千问) 챗 및 사전 훈련된 대규모 언어 모델의 공식 리포지토리입니다.

QwenLM
⭐ 22,063 Python 👤 QwenLM Organization 🕐 업데이트됨 2026-03-05 📅 생성됨 2023-08-03
3
xlite-dev/LeetCUDA

초보자를 위한 최신 CUDA 학습 노트를 담은 오픈 소스 도서 — BF16/FP8/FP4, HGEMM, CuTe, Flash-Attention 등.

xlite-dev
⭐ 12,208 TeX 👤 xlite-dev Organization 🕐 업데이트됨 2026-11-20 📅 생성됨 2022-12-17
5
InternLM/InternLM

InternLM 시리즈 (InternLM, InternLM2, InternLM2.5, InternLM3) 공식 출시.

InternLM
⭐ 7,280 Python 👤 InternLM Organization 🕐 업데이트됨 2025-10-30 📅 생성됨 2023-07-06
6
ymcui/Chinese-LLaMA-Alpaca-2

중국어 LLaMA-2 & Alpaca-2 대규모 언어 모델 2단계 + 64K 초장문 컨텍스트 모델 (Chinese LLaMA-2 & Alpaca-2 LLMs with 64K long context models)

ymcui
⭐ 7,098 Python 👤 ymcui User 🕐 업데이트됨 2026-04-19 📅 생성됨 2023-07-18
7
karminski/one-small-step

이것은 흥미롭고 최첨단 기술 개념과 원리를 설명하는 데 초점을 맞춘 간단한 기술科普 튜토리얼 프로젝트입니다. 각 기사는 5분 안에 읽기를 완료하도록 노력합니다.

karminski
⭐ 7,006 Python 👤 karminski User 🕐 업데이트됨 2026-03-08 📅 생성됨 2025-01-16
9
xlite-dev/Awesome-LLM-Inference

📚Flash-Attention, Paged-Attention, WINT8/4, Parallelism 등 Awesome LLM/VLM 추론 논문 및 코드 모음집🎉

xlite-dev
⭐ 5,565 Python 👤 xlite-dev Organization 🕐 업데이트됨 2026-10-20 📅 생성됨 2023-08-27
10
turboderp-org/exllamav2

최신 소비자급 GPU에서 LLM을 로컬로 실행하기 위한 빠른 추론 라이브러리

turboderp-org
⭐ 4,653 Python 👤 turboderp-org Organization 🕐 업데이트됨 2026-03-04 📅 생성됨 2023-08-30
11
QwenLM/Qwen3-ASR

Qwen3-ASR는 알리바바 클라우드의 Qwen 팀이 개발한 오픈소스 ASR 모델 시리즈이며, 안정적인 다국어 음성/음악/노래 인식, 언어 감지 및 타임스탬프 예측을 지원합니다。

QwenLM
⭐ 3,933 Python 👤 QwenLM Organization 🕐 업데이트됨 2026-06-26 📅 생성됨 2026-01-28
12
HazyResearch/ThunderKittens

빠른 커널을 위한 타일 기본 요소

HazyResearch
⭐ 3,805 Cuda 👤 HazyResearch Organization 🕐 업데이트됨 2026-09-12 📅 생성됨 2024-03-04
13
guandeh17/Self-Forcing

"Self Forcing: Bridging Training and Inference in Autoregressive Video Diffusion" (NeurIPS 2025 Spotlight)의 공식 코드베이스

guandeh17
⭐ 3,511 Python 👤 guandeh17 User 🕐 업데이트됨 2025-09-12 📅 생성됨 2025-06-09
14
ikawrakow/ik_llama.cpp

추가적인 SOTA 양화 및 성능 향상을 포함한 llama.cpp 포크

ikawrakow
⭐ 3,411 C++ 👤 ikawrakow User 🕐 업데이트됨 2026-11-21 📅 생성됨 2024-06-27
16
MoonshotAI/MoBA

MoBA: 긴 컨텍스트 LLM을 위한 블록 어텐션 혼합

MoonshotAI
⭐ 2,122 Python 👤 MoonshotAI Organization 🕐 업데이트됨 2025-04-03 📅 생성됨 2025-02-17
17
Ucas-HaoranWei/Vary

[ECCV 2024] Vary: 대규모 비전-언어 모델의 비전 어휘 확장 공식 코드 구현.

Ucas-HaoranWei
⭐ 1,888 Python 👤 Ucas-HaoranWei User 🕐 업데이트됨 2024-12-30 📅 생성됨 2023-12-07
19
allenai/Olmo-core

OLMo 생태계를 위한 PyTorch 빌딩 블록

allenai
⭐ 1,810 Python 👤 allenai Organization 🕐 업데이트됨 2026-11-21 📅 생성됨 2024-03-23
20
mjun0812/flash-attention-prebuild-wheels

Linux와 Windows에서 GitHub Actions를 사용하여 미리 빌드된 flash-attention 2 및 3 패키지 휠을 제공합니다

mjun0812
⭐ 1,798 Python 👤 mjun0812 User 🕐 업데이트됨 2026-11-21 📅 생성됨 2024-10-26
21
Soul-AILab/SoulX-FlashTalk

SoulX-FlashTalk은 8xH800 노드에서 실시간 처리량 32 FPS를 유지하면서 1초 미만 시작 지연(0.87s)을 달성한 최초의 14B 모델입니다.

Soul-AILab
⭐ 1,572 Python 👤 Soul-AILab Organization 🕐 업데이트됨 2026-07-30 📅 생성됨 2025-12-25
23
X-Square-Robot/wall-x

체화된 기초 모델 기반 범용 로봇 구축

X-Square-Robot
⭐ 1,337 Python 👤 X-Square-Robot Organization 🕐 업데이트됨 2026-09-18 📅 생성됨 2025-09-04
24
weiruihhh/cs336_note_and_hw

cs336을 공부할 때 기록한 노트와 과제를 정리합니다.

weiruihhh
⭐ 1,305 Python 👤 weiruihhh User 🕐 업데이트됨 2026-10-10 📅 생성됨 2025-06-01
25
zhuzilin/ring-flash-attention

플래시 어텐션을 사용한 링 어텐션 구현

zhuzilin
⭐ 1,054 Python 👤 zhuzilin User 🕐 업데이트됨 2025-09-10 📅 생성됨 2024-02-21
26
tspeterkim/flash-attention-minimal

CUDA 약 100줄의 Flash Attention (순방향 전달만)

tspeterkim
⭐ 1,036 Cuda 👤 tspeterkim User 🕐 업데이트됨 2024-12-30 📅 생성됨 2024-03-07
27
NVIDIA/cudnn-frontend

cuDNN Frontend는 cuDNN 라이브러리에 대한 NVIDIA의 현대적인 오픈 소스 진입점이자 고성능 오픈 소스 커널의 증가하는 컬렉션입니다.

NVIDIA
⭐ 1,008 Cuda 👤 NVIDIA Organization 🕐 업데이트됨 2026-11-21 📅 생성됨 2021-01-22
28
SandAI-org/MagiAttention

초장문 컨텍스트, 이기종 데이터 학습을 위한 선형 확장성을 향한 분산 주의

SandAI-org
⭐ 975 Python 👤 SandAI-org Organization 🕐 업데이트됨 2026-11-21 📅 생성됨 2025-04-20
29
Alpha-VLLM/Lumina-Image-2.0

Lumina-Image 2.0: 통합적이고 효율적인 이미지 생성 프레임워크

Alpha-VLLM
⭐ 904 Python 👤 Alpha-VLLM Organization 🕐 업데이트됨 2026-05-22 📅 생성됨 2025-01-25
30
TRI-ML/prismatic-vlms

시각적으로 조건화된 언어 모델(VLM) 훈련을 위한 유연하고 효율적인 코드베이스

TRI-ML
⭐ 894 Python 👤 TRI-ML Organization 🕐 업데이트됨 2024-07-04 📅 생성됨 2024-02-13
31
RUCAIBox/LLMBox

Unified training pipeline 및 종합적인 모델 평가를 포함하여 LLM 구현을 위한 종합적인 라이브러리입니다.

RUCAIBox
⭐ 849 Python 👤 RUCAIBox Organization 🕐 업데이트됨 2025-06-16 📅 생성됨 2023-10-25
32
NVlabs/rcm

rCM & Causal-rCM: 대규모 양방향/자기회귀 비디오 확산 증류를 위한 선도적이고 통합된 알고리즘/인프라

NVlabs
⭐ 832 Python 👤 NVlabs Organization 🕐 업데이트됨 2026-06-25 📅 생성됨 2025-10-09
35
exiawsh/StreamPETR

[ICCV 2023] StreamPETR: 효율적인 다중 시점 3D 객체 탐지를 위한 객체 중심 시간 모델링 탐구

exiawsh
⭐ 754 Python 👤 exiawsh User 🕐 업데이트됨 2024-06-26 📅 생성됨 2023-03-21
37
jzhang38/EasyContext

최소한의 하드웨어로 언어 모델의 컨텍스트 길이를 1백만 토큰으로 확장하기 위한 메모리 최적화 및 학습 레시피.

jzhang38
⭐ 751 Python 👤 jzhang38 User 🕐 업데이트됨 2024-09-27 📅 생성됨 2024-04-05
38
HKUSTDial/flash-sparse-attention

학습 가능하고 빠르며 메모리 효율적인 희소 어텐션

HKUSTDial
⭐ 750 Python 👤 HKUSTDial Organization 🕐 업데이트됨 2026-11-20 📅 생성됨 2025-05-12
40
yihao-meng/HoloCine

[CVPR 2026 하이라이트] 논문 공식 구현 - HoloCine: 영화적 멀티샷 장편 비디오 내러티브의 전체 생성

yihao-meng
⭐ 707 Python 👤 yihao-meng User 🕐 업데이트됨 2025-11-26 📅 생성됨 2025-10-22
41
penghao-wu/vstar

"V* : Guided Visual Search as a Core Mechanism in Multimodal LLMs"의 PyTorch 구현

penghao-wu
⭐ 684 Python 👤 penghao-wu User 🕐 업데이트됨 2024-01-07 📅 생성됨 2023-12-15
42
louaaron/Score-Entropy-Discrete-Diffusion

[ICML 2024 우수 논문상] 데이터 분포의 비율을 추정하는 이산 확산 모델링 (https://arxiv.org/abs/2310.16834)

louaaron
⭐ 681 Python 👤 louaaron User 🕐 업데이트됨 2024-02-29 📅 생성됨 2024-02-21
43
Tencent/WeDLM

WeDLM: 표준 인과적 어텐션과 네이티브 KV 캐시 호환성을 갖춘 가장 빠른 확산 언어 모델로, vLLM 최적화 기준선 대비 실제 속도 향상을 제공합니다.

Tencent
⭐ 659 Python 👤 Tencent Organization 🕐 업데이트됨 2026-03-03 📅 생성됨 2025-12-24
44
zengxiao-he/tessera

교사에서 타일까지 — 처음부터 구축한 LLM 증류 및 서빙 엔진: 맞춤형 Triton/CUDA 커널, FSDP 증류, 페이징 KV 연속 배치, 추측 디코딩, Rust 게이트웨이, JAX 오라클, 해석 가능성 도구.

zengxiao-he
⭐ 556 Python 👤 zengxiao-he User 🕐 업데이트됨 2026-10-09 📅 생성됨 2026-06-05
46
mit-han-lab/duo-attention

[ICLR 2025] DuoAttention: 검색 및 스트리밍 헤드를 이용한 효율적인 장문맥 LLM 추론

mit-han-lab
⭐ 541 Python 👤 mit-han-lab Organization 🕐 업데이트됨 2025-02-10 📅 생성됨 2024-10-15
47
DachengLi1/LongChat

LongChat 및 LongEval 공식 리포지토리

DachengLi1
⭐ 533 Python 👤 DachengLi1 User 🕐 업데이트됨 2024-05-24 📅 생성됨 2023-04-21
48
bofenghuang/vigogne

프랑스어 지시 따르기 및 채팅 모델

bofenghuang
⭐ 506 Jupyter Notebook 👤 bofenghuang User 🕐 업데이트됨 2024-12-05 📅 생성됨 2023-03-24

자주 묻는 질문

1

GitHub에서 가장 인기 있는 #flash-attention 저장소는 무엇인가요?

GitHub에서 가장 높은 순위의 오픈 소스 #flash-attention 프로젝트는 24,180개의 스타를 받은 deepseek-ai/DeepSeek-OCR입니다. 컨텍스트 광학 압축

2

#flash-attention 저장소에서 가장 많이 사용되는 프로그래밍 언어는 무엇인가요?

GitHub에서 순위가 가장 높은 #flash-attention 프로젝트 중 가장 일반적으로 사용되는 프로그래밍 언어는 Python, Cuda, TeX, C++입니다.

3

#flash-attention 저장소 순위는 어떻게 계산되나요?

#flash-attention 태그가 지정된 활성 오픈 소스 저장소(48개, 스타 500개 이상)를 추적하고 있습니다. 총 스타 수는 156,291개이며 저장소당 평균 3,256개입니다. 순위는 GitHub API를 통해 매일 업데이트됩니다.