Git Stars Git Stars

#attention-mechanism 저장소

#attention-mechanism 태그가 지정된 GitHub의 활성 오픈 소스 저장소 50개를 확인해 보세요. 총 274,514개의 스타를 획득했으며 프로젝트당 평균 5,490개입니다. 이 주제를 이끄는 저장소는 108,745개의 스타를 받은 rasbt/LLMs-from-scratch입니다.

50
총 리포지토리
274,514
총 별점
5,490
리포지토리당 평균 스타 수

저장소 총 50개

1
rasbt/LLMs-from-scratch

PyTorch에서 ChatGPT와 유사한 LLM을 처음부터 단계별로 구현하기

rasbt
⭐ 108,745 Jupyter Notebook 👤 rasbt User 🕐 업데이트됨 2026-11-20 📅 생성됨 2023-07-23
2
lucidrains/vit-pytorch

PyTorch에서 단일 트랜스포머 인코더만으로 비전 분류에서 SOTA를 달성하는 간단한 방법인 Vision Transformer의 구현

lucidrains
⭐ 25,588 Python 👤 lucidrains User 🕐 업데이트됨 2026-11-07 📅 생성됨 2020-10-03
3
Dao-AILab/flash-attention

빠르고 메모리 효율적인 정확한 주의

Dao-AILab
⭐ 25,330 Python 👤 Dao-AILab Organization 🕐 업데이트됨 2026-11-21 📅 생성됨 2022-05-19
4
nndl/nndl

치우시펑의 《신경망과 딥러닝》 제2판 및 교양판: 전자책, 장별 목차, 학습 자료 및 정오표

nndl
⭐ 19,627 👤 nndl Organization 🕐 업데이트됨 2026-09-06 📅 생성됨 2016-09-06
5
BlinkDL/RWKV-LM

RWKV(RwaKuv라고 발음)는 GPT 트랜스포머처럼 직접 훈련할 수 있는(병렬화 가능) 훌륭한 LLM 성능을 갖춘 RNN입니다. 저희는 RWKV-7 "Goose"에 있습니다. 따라서 RNN과 트랜스포머의 장점을 결합했습니다. 뛰어난 성능, 선형 시간, 일정 공간(kv-캐시 없음), 빠른 훈련, 무한한 ctx_len, 무료 문장 임베딩입니다.

BlinkDL
⭐ 14,786 Python 👤 BlinkDL User 🕐 업데이트됨 2026-11-04 📅 생성됨 2021-08-08
6
facebookresearch/xformers

조합 가능한 구성을 지원하는 해킹 및 최적화된 트랜스포머 빌딩 블록.

facebookresearch
⭐ 10,579 Python 👤 facebookresearch Organization 🕐 업데이트됨 2026-11-13 📅 생성됨 2021-10-13
7
lucidrains/x-transformers

다양한 논문의 유망한 실험 기능들을 포함한 간결하지만 완전한 풀 어텐션 트랜스포머

lucidrains
⭐ 5,966 Python 👤 lucidrains User 🕐 업데이트됨 2026-11-18 📅 생성됨 2020-10-24
8
lucidrains/DALLE-pytorch

PyTorch에서 OpenAI의 텍스트-이미지 트랜스포머인 DALL-E 구현 / 복제

lucidrains
⭐ 5,632 Python 👤 lucidrains User 🕐 업데이트됨 2024-02-17 📅 생성됨 2021-01-05
9
cmhungsteve/Awesome-Transformer-Attention

Vision Transformer/Attention에 대한 궁극적으로 포괄적인 논문 목록으로, 논문, 코드 및 관련 웹사이트 포함

cmhungsteve
⭐ 4,987 👤 cmhungsteve User 🕐 업데이트됨 2024-07-30 📅 생성됨 2021-09-15
10
ruvnet/RuVector

RuVector는 고성능 실시간 의사 결정과 에이전트 메모리, 자기 학습형 AI, 그리고 Rust로 구축된 벡터 GNN 데이터베이스를 제공합니다.

ruvnet
⭐ 4,713 Rust 👤 ruvnet User 🕐 업데이트됨 2026-11-21 📅 생성됨 2025-11-19
11
raiyanyahya/how-to-train-your-gpt

현대 LLM을 처음부터 구축하세요. 모든 줄에 주석. 다섯 살 아이에게 설명하듯.

raiyanyahya
⭐ 4,183 Jupyter Notebook 👤 raiyanyahya User 🕐 업데이트됨 2026-10-26 📅 생성됨 2026-05-03
12
MLNLP-World/LLMs-from-scratch-CN

LLMs-from-scratch 프로젝트 중국어 번역

MLNLP-World
⭐ 3,100 Jupyter Notebook 👤 MLNLP-World Organization 🕐 업데이트됨 2026-04-19 📅 생성됨 2025-01-20
13
sunsmarterjie/yolov12

[NeurIPS 2025] YOLOv12: 주의 중심 실시간 객체 탐지기

sunsmarterjie
⭐ 2,967 Python 👤 sunsmarterjie User 🕐 업데이트됨 2026-10-25 📅 생성됨 2025-02-06
14
linto-ai/whisper-timestamped

単語レベルのタイムスタンプと信頼度を備えた多言語自動音声認識

linto-ai
⭐ 2,860 Python 👤 linto-ai Organization 🕐 업데이트됨 2026-09-28 📅 생성됨 2023-01-13
15
philipperemy/keras-attention

Keras 주의 레이어 (Luong 및 Bahdanau 점수).

philipperemy
⭐ 2,809 Python 👤 philipperemy User 🕐 업데이트됨 2026-03-12 📅 생성됨 2017-05-23
16
aburkov/theLMbook

Andriy Burkov의 "The Hundred-Page Language Models Book"의 공식 저장소입니다.

aburkov
⭐ 2,194 Jupyter Notebook 👤 aburkov User 🕐 업데이트됨 2026-02-08 📅 생성됨 2024-06-28
17
flybirdxx/ComfyUI-Qwen-TTS

Qwen3-TTS의 ComfyUI를 위한 간단한 구현

flybirdxx
⭐ 1,981 Python 👤 flybirdxx User 🕐 업데이트됨 2026-11-10 📅 생성됨 2026-01-22
18
amitshekhariitbhu/llm-internals

LLM 내부를 단계별로 배우기 - 토큰화부터 어텐션, 추론 최적화까지.

amitshekhariitbhu
⭐ 1,774 👤 amitshekhariitbhu User 🕐 업데이트됨 2026-11-20 📅 생성됨 2026-04-12
19
lucidrains/soundstorm-pytorch

Google Deepmind의 SoundStorm, 효율적인 병렬 오디오 생성, Pytorch 구현

lucidrains
⭐ 1,545 Python 👤 lucidrains User 🕐 업데이트됨 2025-04-24 📅 생성됨 2023-05-17
20
yulunzhang/RCAN

우리의 ECCV 2018 논문 "Image Super-Resolution Using Very Deep Residual Channel Attention Networks"의 PyTorch 코드

yulunzhang
⭐ 1,497 Python 👤 yulunzhang User 🕐 업데이트됨 2025-04-01 📅 생성됨 2018-07-03
22
meta-pytorch/attention-gym

flex-attention 작업을 위한 유용한 도구 및 예제

meta-pytorch
⭐ 1,274 Python 👤 meta-pytorch Organization 🕐 업데이트됨 2026-11-21 📅 생성됨 2024-07-31
23
lucidrains/perceiver-pytorch

Pytorch에서 반복적 주의를 사용한 일반 지각 모델 Perceiver 구현

lucidrains
⭐ 1,223 Python 👤 lucidrains User 🕐 업데이트됨 2026-10-26 📅 생성됨 2021-03-05
24
awslabs/sockeye

PyTorch를 기반으로 한 신경 기계 번역에 중점을 둔 시퀀스-투-시퀀스 프레임워크

awslabs
⭐ 1,217 Python 👤 awslabs Organization 🕐 업데이트됨 2024-10-24 📅 생성됨 2017-06-08
25
chengtan9907/OpenSTL

OpenSTL: 시공간 예측 학습에 대한 포괄적인 벤치마크

chengtan9907
⭐ 1,165 Python 👤 chengtan9907 User 🕐 업데이트됨 2026-03-01 📅 생성됨 2022-07-27
26
SuperBruceJia/EEG-DL

TensorFlow 기반의 EEG 작업(신호) 분류를 위한 딥러닝 라이브러리.

SuperBruceJia
⭐ 1,162 Python 👤 SuperBruceJia User 🕐 업데이트됨 2025-07-20 📅 생성됨 2020-04-30
27
cedrickchee/awesome-transformer-nlp

트랜스포머 네트워크, 어텐션 메커니즘, GPT, BERT, ChatGPT, LLM 및 전이 학습에 초점을 맞춘 NLP 자원의 큐레이션된 목록.

cedrickchee
⭐ 1,124 👤 cedrickchee User 🕐 업데이트됨 2024-10-27 📅 생성됨 2019-01-13
28
lucidrains/tab-transformer-pytorch

Pytorch에서 표 형식 데이터를 위한 어텐션 네트워크인 TabTransformer 구현

lucidrains
⭐ 1,097 Python 👤 lucidrains User 🕐 업데이트됨 2026-01-08 📅 생성됨 2020-12-15
29
qiuzh20/gated_attention

[NeurIPS2025 Oral] 대규모 언어 모델을 위한 게이티드 어텐션: 비선형성, 희소성, 그리고 어텐션 싱크 프리(Attention-Sink-Free) 공식 구현

qiuzh20
⭐ 994 Jupyter Notebook 👤 qiuzh20 User 🕐 업데이트됨 2025-12-20 📅 생성됨 2025-05-09
30
AMLab-Amsterdam/AttentionDeepMIL

PyTorch에서의 Attention 기반 Deep Multiple Instance Learning 구현

AMLab-Amsterdam
⭐ 965 Python 👤 AMLab-Amsterdam Organization 🕐 업데이트됨 2024-01-08 📅 생성됨 2018-02-26
31
lucidrains/linear-attention-transformer

시퀀스 길이에 대해 선형 복잡도를 갖는 주의 메커니즘의 변형을 기반으로 한 트랜스포머

lucidrains
⭐ 821 Python 👤 lucidrains User 🕐 업데이트됨 2024-05-05 📅 생성됨 2020-06-04
32
mit-han-lab/fastcomposer

[IJCV] FastComposer: 지역화된 어텐션을 이용한 튜닝 없는 다중 객체 이미지 생성

mit-han-lab
⭐ 716 Python 👤 mit-han-lab Organization 🕐 업데이트됨 2025-01-10 📅 생성됨 2023-05-17
33
swz30/MIRNet

[ECCV 2020] 실제 이미지 복원 및 개선을 위한 풍부한 특징 학습. 이미지 노이즈 제거, 초해상도 및 이미지 개선에 대한 SOTA 결과.

swz30
⭐ 708 Python 👤 swz30 User 🕐 업데이트됨 2024-04-18 📅 생성됨 2020-03-11
34
positive666/yolo_research

yolo-high-level 프로젝트(detect\pose\classify\segment\) 기반: yolov5\yolov7\yolov8\ core, 개선 연구, SwinTransformerV2 및 Attention Series 포함. 훈련 기술, 비즈니스 맞춤화, 엔지니어링 배포 C

positive666
⭐ 667 Python 👤 positive666 User 🕐 업데이트됨 2026-04-27 📅 생성됨 2021-02-25
35
Canjie-Luo/MORAN_v2

MORAN: 장면 텍스트 인식을 위한 다중 객체 수정 주의 네트워크

Canjie-Luo
⭐ 648 Python 👤 Canjie-Luo User 🕐 업데이트됨 2024-07-25 📅 생성됨 2019-01-09
36
zjx0101/ObjectClear

[CVPR'26] ObjectClear: 적응형 타겟 인식 어텐션을 통한 정밀 객체 및 효과 제거

zjx0101
⭐ 634 Python 👤 zjx0101 User 🕐 업데이트됨 2026-08-03 📅 생성됨 2025-05-28
37
therealoliver/Deepdive-llama3-from-scratch

llama3 추론 단계를 단계별로 달성하고 핵심 개념을 파악하며 프로세스 유도를 마스터하고 코드를 구현합니다.

therealoliver
⭐ 629 Jupyter Notebook 👤 therealoliver User 🕐 업데이트됨 2025-02-24 📅 생성됨 2025-02-19
38
kyegomez/zeta

모듈식 빌딩 블록으로 고성능 AI 모델 구축

kyegomez
⭐ 605 Python 👤 kyegomez User 🕐 업데이트됨 2026-11-16 📅 생성됨 2023-07-09
39
bhoov/exbert

트랜스포머 모델에서 학습된 표현을 탐색하기 위한 시각적 분석 도구

bhoov
⭐ 602 Python 👤 bhoov User 🕐 업데이트됨 2024-02-07 📅 생성됨 2019-10-14
40
prs-eth/OverlapPredator

[CVPR 2021, 구두 발표] PREDATOR: 낮은 중첩을 가진 3D 포인트 클라우드 등록.

prs-eth
⭐ 599 Python 👤 prs-eth Organization 🕐 업데이트됨 2025-02-20 📅 생성됨 2020-11-24
41
Haiyang-W/TokenFormer

[ICLR2025 Spotlight🔥] TokenFormer 공식 구현: 토큰화된 모델 파라미터로 트랜스포머 스케일링 재고

Haiyang-W
⭐ 590 Python 👤 Haiyang-W User 🕐 업데이트됨 2025-02-11 📅 생성됨 2024-10-29
43
lucidrains/enformer-pytorch

유전자 발현 예측을 위한 Deepmind의 어텐션 네트워크인 Enformer를 Pytorch로 구현

lucidrains
⭐ 576 Python 👤 lucidrains User 🕐 업데이트됨 2026-06-26 📅 생성됨 2021-10-23
44
philipturner/metal-flash-attention

FlashAttention (Metal 포트)

philipturner
⭐ 570 Swift 👤 philipturner User 🕐 업데이트됨 2024-09-22 📅 생성됨 2023-06-23
45
wgcban/ChangeFormer

[IGARSS'22]: 변화 탐지를 위한 트랜스포머 기반 시아미즈 네트워크

wgcban
⭐ 555 Python 👤 wgcban User 🕐 업데이트됨 2024-01-31 📅 생성됨 2021-12-02
46
lucidrains/ring-attention-pytorch

Berkeley AI의 Liu et al.이 Pytorch에 구현한 💍 Ring Attention

lucidrains
⭐ 547 Python 👤 lucidrains User 🕐 업데이트됨 2025-05-16 📅 생성됨 2024-02-14
47
kyegomez/RT-2

RT-2의 민주화 "RT-2: 비전과 언어를 행동으로 옮기는 새로운 모델"

kyegomez
⭐ 539 Python 👤 kyegomez User 🕐 업데이트됨 2024-07-26 📅 생성됨 2023-07-28
48
WenjieDu/SAITS

논문 "SAITS: Self-Attention 기반 시간 시계열 보간"의 공식 PyTorch 구현. 빠르고 최첨단(SOTA) 딥러닝 신경망 모델로, 효율적인 시간 시계열 보간(NaN 누락 데이터/값을 포함한 다변량 불완전 시간 시계열을 머신러닝으로 보간)에 사용됩니다. https://arxiv.org/abs/2202.08516

WenjieDu
⭐ 521 Python 👤 WenjieDu User 🕐 업데이트됨 2026-08-25 📅 생성됨 2021-12-07
49
zhengchen1999/DAT

[ICCV'23] 이미지 초해상도를 위한 이중 집계 트랜스포머

zhengchen1999
⭐ 517 Python 👤 zhengchen1999 User 🕐 업데이트됨 2024-11-26 📅 생성됨 2022-11-10
50
lucidrains/slot-attention

Google AI의 Slot Attention 구현

lucidrains
⭐ 502 Python 👤 lucidrains User 🕐 업데이트됨 2026-06-06 📅 생성됨 2020-06-29

자주 묻는 질문

1

GitHub에서 가장 인기 있는 #attention-mechanism 저장소는 무엇인가요?

GitHub에서 가장 높은 순위의 오픈 소스 #attention-mechanism 프로젝트는 108,745개의 스타를 받은 rasbt/LLMs-from-scratch입니다. PyTorch에서 ChatGPT와 유사한 LLM을 처음부터 단계별로 구현하기

2

#attention-mechanism 저장소에서 가장 많이 사용되는 프로그래밍 언어는 무엇인가요?

GitHub에서 순위가 가장 높은 #attention-mechanism 프로젝트 중 가장 일반적으로 사용되는 프로그래밍 언어는 Python, Jupyter Notebook, Rust, Swift입니다.

3

#attention-mechanism 저장소 순위는 어떻게 계산되나요?

#attention-mechanism 태그가 지정된 활성 오픈 소스 저장소(50개, 스타 500개 이상)를 추적하고 있습니다. 총 스타 수는 274,514개이며 저장소당 평균 5,490개입니다. 순위는 GitHub API를 통해 매일 업데이트됩니다.