Git Stars Git Stars

#attention-mechanism リポジトリ

#attention-mechanismのタグが付いた、GitHub上の50件のアクティブなオープンソースリポジトリをご覧ください。合計スター数は274,514個で、プロジェクトあたりの平均は5,490個です。このトピックをリードしているのは、108,745個のスターを獲得しているrasbt/LLMs-from-scratchです。

50
リポジトリ総数
274,514
合計スター数
5,490
リポジトリあたりの平均スター数
プログラミング言語: Python Jupyter Notebook Rust Swift

リポジトリ合計50件

1
rasbt/LLMs-from-scratch

PyTorchでChatGPTのようなLLMをゼロから段階的に実装する

rasbt
⭐ 108,745 Jupyter Notebook 👤 rasbt User 🕐 更新日時 2026-11-20 📅 作成日 2023-07-23
2
lucidrains/vit-pytorch

PytorchにおけるVision Transformerの実装。単一のトランスフォーマーエンコーダのみでビジョン分類におけるSOTAを達成する簡単な方法

lucidrains
⭐ 25,588 Python 👤 lucidrains User 🕐 更新日時 2026-11-07 📅 作成日 2020-10-03
3
Dao-AILab/flash-attention

高速かつメモリ効率の良い正確なアテンション

Dao-AILab
⭐ 25,330 Python 👤 Dao-AILab Organization 🕐 更新日時 2026-11-21 📅 作成日 2022-05-19
4
nndl/nndl

邱錫鵬『ニューラルネットワークとディープラーニング』第2版・一般教養版:電子書籍、章立て、学習リソース、正誤表。

nndl
⭐ 19,627 👤 nndl Organization 🕐 更新日時 2026-09-06 📅 作成日 2016-09-06
5
BlinkDL/RWKV-LM

RWKV(RwaKuvと発音)は、GPTトランスフォーマーのように直接トレーニングできる(並列化可能)優れたLLMパフォーマンスを持つRNNです。私たちはRWKV-7 "Goose"にいます。したがって、RNNとトランスフォーマーの最高の機能を組み合わせています。優れたパフォーマンス、線形時間、一定のスペース(kvキャッシュなし)、高速トレーニング、無限のctx_len、無料の文埋め込みです。

BlinkDL
⭐ 14,786 Python 👤 BlinkDL User 🕐 更新日時 2026-11-04 📅 作成日 2021-08-08
6
facebookresearch/xformers

ハッカブルで最適化されたトランスフォーマービルディングブロック。コンポーズ可能な構築をサポートします。

facebookresearch
⭐ 10,579 Python 👤 facebookresearch Organization 🕐 更新日時 2026-11-13 📅 作成日 2021-10-13
7
lucidrains/x-transformers

さまざまな論文からの有望な実験的機能を備えた、簡潔ながらも完全なフルアテンショントランスフォーマー

lucidrains
⭐ 5,966 Python 👤 lucidrains User 🕐 更新日時 2026-11-18 📅 作成日 2020-10-24
8
lucidrains/DALLE-pytorch

PyTorchにおけるOpenAIのテキストから画像へのトランスフォーマー、DALL-Eの実装/レプリケーション

lucidrains
⭐ 5,632 Python 👤 lucidrains User 🕐 更新日時 2024-02-17 📅 作成日 2021-01-05
9
cmhungsteve/Awesome-Transformer-Attention

Vision Transformer/Attention に関する最終的な包括的な論文リスト。論文、コード、関連ウェブサイトを含む

cmhungsteve
⭐ 4,987 👤 cmhungsteve User 🕐 更新日時 2024-07-30 📅 作成日 2021-09-15
10
ruvnet/RuVector

RuVectorは、高性能なリアルタイム意思決定とエージェントメモリ、自己学習型AI、そしてRustで構築されたベクトルGNNデータベースを提供します。

ruvnet
⭐ 4,713 Rust 👤 ruvnet User 🕐 更新日時 2026-11-21 📅 作成日 2025-11-19
11
raiyanyahya/how-to-train-your-gpt

現代のLLMをゼロから構築する。すべての行にコメント。5歳児向けに説明。

raiyanyahya
⭐ 4,183 Jupyter Notebook 👤 raiyanyahya User 🕐 更新日時 2026-10-26 📅 作成日 2026-05-03
12
MLNLP-World/LLMs-from-scratch-CN

LLMs-from-scratch プロジェクト中国語翻訳

MLNLP-World
⭐ 3,100 Jupyter Notebook 👤 MLNLP-World Organization 🕐 更新日時 2026-04-19 📅 作成日 2025-01-20
13
sunsmarterjie/yolov12

[NeurIPS 2025] YOLOv12: アテンション中心のリアルタイム物体検出器

sunsmarterjie
⭐ 2,967 Python 👤 sunsmarterjie User 🕐 更新日時 2026-10-25 📅 作成日 2025-02-06
14
linto-ai/whisper-timestamped

単語レベルのタイムスタンプと信頼度を備えた多言語音声自動認識

linto-ai
⭐ 2,860 Python 👤 linto-ai Organization 🕐 更新日時 2026-09-28 📅 作成日 2023-01-13
15
philipperemy/keras-attention

Keras注意レイヤー(LuongとBahdanauスコア)

philipperemy
⭐ 2,809 Python 👤 philipperemy User 🕐 更新日時 2026-03-12 📅 作成日 2017-05-23
16
aburkov/theLMbook

Andriy Burkov による「The Hundred-Page Language Models Book」の公式リポジトリです。

aburkov
⭐ 2,194 Jupyter Notebook 👤 aburkov User 🕐 更新日時 2026-02-08 📅 作成日 2024-06-28
17
flybirdxx/ComfyUI-Qwen-TTS

Qwen3-TTSのComfyUIのシンプルな実装

flybirdxx
⭐ 1,981 Python 👤 flybirdxx User 🕐 更新日時 2026-11-10 📅 作成日 2026-01-22
18
amitshekhariitbhu/llm-internals

LLMの内部をステップバイステップで学ぶ - トークン化からアテンション、推論最適化まで。

amitshekhariitbhu
⭐ 1,774 👤 amitshekhariitbhu User 🕐 更新日時 2026-11-20 📅 作成日 2026-04-12
19
lucidrains/soundstorm-pytorch

Google Deepmind の SoundStorm、効率的な並列オーディオ生成を Pytorch で実装

lucidrains
⭐ 1,545 Python 👤 lucidrains User 🕐 更新日時 2025-04-24 📅 作成日 2023-05-17
20
yulunzhang/RCAN

私たちの ECCV 2018 論文 "Image Super-Resolution Using Very Deep Residual Channel Attention Networks" の PyTorch コード

yulunzhang
⭐ 1,497 Python 👤 yulunzhang User 🕐 更新日時 2025-04-01 📅 作成日 2018-07-03
22
meta-pytorch/attention-gym

flex-attention を扱うための役立つツールと例

meta-pytorch
⭐ 1,274 Python 👤 meta-pytorch Organization 🕐 更新日時 2026-11-21 📅 作成日 2024-07-31
23
lucidrains/perceiver-pytorch

PyTorchにおけるPerceiver(反復注意を用いた汎用知覚)の実装

lucidrains
⭐ 1,223 Python 👤 lucidrains User 🕐 更新日時 2026-10-26 📅 作成日 2021-03-05
24
awslabs/sockeye

PyTorch を基盤としたシーケンス・トゥ・シーケンス フレームワーク、ニューラル機械翻訳に焦点を当てて

awslabs
⭐ 1,217 Python 👤 awslabs Organization 🕐 更新日時 2024-10-24 📅 作成日 2017-06-08
25
chengtan9907/OpenSTL

OpenSTL:時空間予測学習の包括的なベンチマーク

chengtan9907
⭐ 1,165 Python 👤 chengtan9907 User 🕐 更新日時 2026-03-01 📅 作成日 2022-07-27
26
SuperBruceJia/EEG-DL

TensorFlowをベースにしたEEGタスク(信号)分類のためのディープラーニングライブラリ。

SuperBruceJia
⭐ 1,162 Python 👤 SuperBruceJia User 🕐 更新日時 2025-07-20 📅 作成日 2020-04-30
27
cedrickchee/awesome-transformer-nlp

Transformerネットワーク、アテンション機構、GPT、BERT、ChatGPT、LLM、および転移学習に焦点を当てたNLPリソースのキュレーションされたリスト。

cedrickchee
⭐ 1,124 👤 cedrickchee User 🕐 更新日時 2024-10-27 📅 作成日 2019-01-13
28
lucidrains/tab-transformer-pytorch

Pytorchでの表形式データ向けの注意ネットワーク、TabTransformerの実装

lucidrains
⭐ 1,097 Python 👤 lucidrains User 🕐 更新日時 2026-01-08 📅 作成日 2020-12-15
29
qiuzh20/gated_attention

[NeurIPS2025 Oral] 大規模言語モデルのためのゲーテッドアテンション:非線形性、スパース性、Attention-Sink-Free の公式実装

qiuzh20
⭐ 994 Jupyter Notebook 👤 qiuzh20 User 🕐 更新日時 2025-12-20 📅 作成日 2025-05-09
30
AMLab-Amsterdam/AttentionDeepMIL

PyTorchにおけるAttentionベースのDeep Multiple Instance Learningの実装

AMLab-Amsterdam
⭐ 965 Python 👤 AMLab-Amsterdam Organization 🕐 更新日時 2024-01-08 📅 作成日 2018-02-26
31
lucidrains/linear-attention-transformer

シーケンス長に対して線形計算量を持つアテンションのバリエーションに基づくTransformer

lucidrains
⭐ 821 Python 👤 lucidrains User 🕐 更新日時 2024-05-05 📅 作成日 2020-06-04
32
mit-han-lab/fastcomposer

[IJCV] FastComposer: ローカライズされたアテンションによるチューニングフリーのマルチサブジェクト画像生成

mit-han-lab
⭐ 716 Python 👤 mit-han-lab Organization 🕐 更新日時 2025-01-10 📅 作成日 2023-05-17
33
swz30/MIRNet

[ECCV 2020] リアルな画像復元とエンハンスメントのための強化された特徴の学習。画像のノイズ除去、超解像度、画像エンハンスメントにおけるSOTA結果。

swz30
⭐ 708 Python 👤 swz30 User 🕐 更新日時 2024-04-18 📅 作成日 2020-03-11
34
positive666/yolo_research

yolo-high-levelプロジェクト(検出\ポーズ\分類\セグメント\)に基づく:yolov5\yolov7\yolov8\コア、改善研究、SwinTransformerV2およびAttention Seriesを含む。トレーニングスキル、ビジネスカスタマイズ、エンジニアリング展開C

positive666
⭐ 667 Python 👤 positive666 User 🕐 更新日時 2026-04-27 📅 作成日 2021-02-25
35
Canjie-Luo/MORAN_v2

MORAN: シーン文字認識のためのマルチオブジェクト修正アテンションネットワーク

Canjie-Luo
⭐ 648 Python 👤 Canjie-Luo User 🕐 更新日時 2024-07-25 📅 作成日 2019-01-09
36
zjx0101/ObjectClear

[CVPR'26] ObjectClear: 適応型ターゲット感知注意機構による精密なオブジェクトとエフェクトの除去

zjx0101
⭐ 634 Python 👤 zjx0101 User 🕐 更新日時 2026-08-03 📅 作成日 2025-05-28
37
therealoliver/Deepdive-llama3-from-scratch

llama3 の推論ステップを段階的に実行し、コアコンセプトを把握し、プロセス導出をマスターし、コードを実装します。

therealoliver
⭐ 629 Jupyter Notebook 👤 therealoliver User 🕐 更新日時 2025-02-24 📅 作成日 2025-02-19
38
kyegomez/zeta

モジュール式のビルディングブロックで高性能AIモデルを構築する

kyegomez
⭐ 605 Python 👤 kyegomez User 🕐 更新日時 2026-11-16 📅 作成日 2023-07-09
39
bhoov/exbert

Transformer モデルで学習された表現を探求するための視覚分析ツール

bhoov
⭐ 602 Python 👤 bhoov User 🕐 更新日時 2024-02-07 📅 作成日 2019-10-14
40
prs-eth/OverlapPredator

[CVPR 2021, 口頭発表] PREDATOR: 低オーバーラップでの3D点群のレジストレーション。

prs-eth
⭐ 599 Python 👤 prs-eth Organization 🕐 更新日時 2025-02-20 📅 作成日 2020-11-24
41
Haiyang-W/TokenFormer

[ICLR2025 Spotlight🔥] TokenFormer公式実装:トークン化されたモデルパラメータによるTransformerスケーリングの再考

Haiyang-W
⭐ 590 Python 👤 Haiyang-W User 🕐 更新日時 2025-02-11 📅 作成日 2024-10-29
43
lucidrains/enformer-pytorch

遺伝子発現予測のためのDeepmindの注意ネットワークEnformerのPytorchでの実装

lucidrains
⭐ 576 Python 👤 lucidrains User 🕐 更新日時 2026-06-26 📅 作成日 2021-10-23
44
philipturner/metal-flash-attention

FlashAttention (Metal ポート)

philipturner
⭐ 570 Swift 👤 philipturner User 🕐 更新日時 2024-09-22 📅 作成日 2023-06-23
45
wgcban/ChangeFormer

[IGARSS'22]: 変化検出のためのTransformerベースのSiameseネットワーク

wgcban
⭐ 555 Python 👤 wgcban User 🕐 更新日時 2024-01-31 📅 作成日 2021-12-02
46
lucidrains/ring-attention-pytorch

Berkeley AIのLiuらによるPytorchでの💍 Ring Attentionの実装

lucidrains
⭐ 547 Python 👤 lucidrains User 🕐 更新日時 2025-05-16 📅 作成日 2024-02-14
47
kyegomez/RT-2

RT-2の民主化「RT-2:ビジョンと言語を行動に翻訳する新しいモデル」

kyegomez
⭐ 539 Python 👤 kyegomez User 🕐 更新日時 2024-07-26 📅 作成日 2023-07-28
48
WenjieDu/SAITS

論文「SAITS: 時系列のための自己注意機構ベースの補完」の公式PyTorch実装。高速かつ最先端(SOTA)の深層学習ニューラルネットワークモデルで、効率的な時系列補完用(NaN欠損データ/値を伴う多変量不完全時系列を機械学習で補完)。https://arxiv.org/abs/2202.08516

WenjieDu
⭐ 521 Python 👤 WenjieDu User 🕐 更新日時 2026-08-25 📅 作成日 2021-12-07
49
zhengchen1999/DAT

[ICCV'23] 画像超解像のためのデュアルアグリゲーションTransformer

zhengchen1999
⭐ 517 Python 👤 zhengchen1999 User 🕐 更新日時 2024-11-26 📅 作成日 2022-11-10
50
lucidrains/slot-attention

Google AIによるSlot Attentionの実装

lucidrains
⭐ 502 Python 👤 lucidrains User 🕐 更新日時 2026-06-06 📅 作成日 2020-06-29

よくある質問

1

GitHubで最も人気のある#attention-mechanismリポジトリは何ですか?

GitHubで最も上位にランクインしているオープンソースの#attention-mechanismプロジェクトは、108,745個のスターを獲得しているrasbt/LLMs-from-scratchです。PyTorchでChatGPTのようなLLMをゼロから段階的に実装する

2

#attention-mechanismリポジトリで最もよく使われているプログラミング言語は何ですか?

GitHubで上位にランクインしている#attention-mechanismプロジェクトでは、Python, Jupyter Notebook, Rust, Swiftが最も一般的なプログラミング言語です。

3

#attention-mechanismリポジトリのランキングはどのように算出されていますか?

#attention-mechanismのタグが付いた50件のアクティブなオープンソースリポジトリ(スター500個以上)を追跡しています。合計スター数は274,514個で、リポジトリあたりの平均は5,490個です。ランキングはGitHub APIからのデータに基づいて毎日更新されます。