Git Stars Git Stars

#attention-mechanism Repositories

Entdecke 50 aktive Open-Source-GitHub-Repositories, die mit #attention-mechanism getaggt sind und insgesamt 274,514 Sterne gesammelt haben (durchschnittlich 5,490 Sterne pro Projekt). Spitzenreiter in diesem Themenbereich ist rasbt/LLMs-from-scratch mit 108,745 Sternen.

50
Gesamtzahl der Repositories
274,514
Gesamtanzahl der Sterne
5,490
Durchschnittliche Sterne/Repo

Insgesamt 50 Repositories

1
rasbt/LLMs-from-scratch

Implementieren Sie Schritt für Schritt ein ChatGPT-ähnliches LLM in PyTorch von Grund auf neu

rasbt
⭐ 108,745 Jupyter Notebook 👤 rasbt User 🕐 Aktualisiert 2026-11-20 📅 Erstellt 2023-07-23
2
lucidrains/vit-pytorch

Implementierung des Vision Transformer, ein einfacher Weg, um Spitzenleistungen in der visuellen Klassifizierung mit nur einem einzigen Transformer-Encoder in Pytorch zu erzielen

lucidrains
⭐ 25,588 Python 👤 lucidrains User 🕐 Aktualisiert 2026-11-07 📅 Erstellt 2020-10-03
3
Dao-AILab/flash-attention

Schnelle und speichereffiziente exakte Aufmerksamkeit

Dao-AILab
⭐ 25,330 Python 👤 Dao-AILab Organization 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2022-05-19
4
nndl/nndl

Qiu Xipengs „Neuronale Netze und Deep Learning“, zweite Auflage und allgemeinbildende Ausgabe: E-Book, Inhaltsverzeichnis, Lernressourcen und Errata.

nndl
⭐ 19,627 👤 nndl Organization 🕐 Aktualisiert 2026-09-06 📅 Erstellt 2016-09-06
5
BlinkDL/RWKV-LM

RWKV (ausgesprochen RwaKuv) ist ein RNN mit großartiger LLM-Leistung, das auch direkt wie ein GPT-Transformer trainiert werden kann (parallelisierbar). Wir sind bei RWKV-7 "Goose". Es kombiniert also das Beste aus RNN und Transformer - großartige Leistung, lineare Zeit, konstanter Speicherplatz (kein kv-Cache), schnelles Training, unendliche ctx_len und kostenlose Satz-Einbettung.

BlinkDL
⭐ 14,786 Python 👤 BlinkDL User 🕐 Aktualisiert 2026-11-04 📅 Erstellt 2021-08-08
6
facebookresearch/xformers

Hackbare und optimierte Transformer-Bausteine, die eine komponierbare Konstruktion unterstützen.

facebookresearch
⭐ 10,579 Python 👤 facebookresearch Organization 🕐 Aktualisiert 2026-11-13 📅 Erstellt 2021-10-13
7
lucidrains/x-transformers

Ein prägnanter, aber vollständiger Full-Attention-Transformer mit einer Reihe vielversprechender experimenteller Funktionen aus verschiedenen Papieren

lucidrains
⭐ 5,966 Python 👤 lucidrains User 🕐 Aktualisiert 2026-11-18 📅 Erstellt 2020-10-24
8
lucidrains/DALLE-pytorch

Implementierung / Replikation von DALL-E, OpenAIs Text-zu-Bild-Transformer, in Pytorch

lucidrains
⭐ 5,632 Python 👤 lucidrains User 🕐 Aktualisiert 2024-02-17 📅 Erstellt 2021-01-05
9
cmhungsteve/Awesome-Transformer-Attention

Eine letztlich umfassende Liste von Papieren zu Vision Transformer/Attention, einschließlich Papieren, Codes und verwandter Websites

cmhungsteve
⭐ 4,987 👤 cmhungsteve User 🕐 Aktualisiert 2024-07-30 📅 Erstellt 2021-09-15
10
ruvnet/RuVector

RuVector bietet leistungsstarke Echtzeit-Entscheidungsfindung und Agentengedächtnis, selbstlernende KI sowie eine in Rust entwickelte Vektor-GNN-Datenbank.

ruvnet
⭐ 4,713 Rust 👤 ruvnet User 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2025-11-19
11
raiyanyahya/how-to-train-your-gpt

Baue ein modernes LLM von Grund auf. Jede Zeile kommentiert. Erklärt wie für Fünfjährige.

raiyanyahya
⭐ 4,183 Jupyter Notebook 👤 raiyanyahya User 🕐 Aktualisiert 2026-10-26 📅 Erstellt 2026-05-03
12
MLNLP-World/LLMs-from-scratch-CN

LLMs-von-Grund-auf-Projekt Chinesische Übersetzung

MLNLP-World
⭐ 3,100 Jupyter Notebook 👤 MLNLP-World Organization 🕐 Aktualisiert 2026-04-19 📅 Erstellt 2025-01-20
13
sunsmarterjie/yolov12

[NeurIPS 2025] YOLOv12: Aufmerksamkeitszentrierte Echtzeit-Objektdetektoren

sunsmarterjie
⭐ 2,967 Python 👤 sunsmarterjie User 🕐 Aktualisiert 2026-10-25 📅 Erstellt 2025-02-06
14
linto-ai/whisper-timestamped

Mehrsprachige automatische Spracherkennung mit Wort-Timestamps und Konfidenz

linto-ai
⭐ 2,860 Python 👤 linto-ai Organization 🕐 Aktualisiert 2026-09-28 📅 Erstellt 2023-01-13
15
philipperemy/keras-attention

Keras Aufmerksamkeits-Schicht (Luong- und Bahdanau-Scores).

philipperemy
⭐ 2,809 Python 👤 philipperemy User 🕐 Aktualisiert 2026-03-12 📅 Erstellt 2017-05-23
16
aburkov/theLMbook

Dies ist das offizielle Repository für "The Hundred-Page Language Models Book" von Andriy Burkov

aburkov
⭐ 2,194 Jupyter Notebook 👤 aburkov User 🕐 Aktualisiert 2026-02-08 📅 Erstellt 2024-06-28
17
flybirdxx/ComfyUI-Qwen-TTS

Eine einfache Implementierung der ComfyUI von Qwen3-TTS

flybirdxx
⭐ 1,981 Python 👤 flybirdxx User 🕐 Aktualisiert 2026-11-10 📅 Erstellt 2026-01-22
18
amitshekhariitbhu/llm-internals

Lerne LLM-Internals Schritt für Schritt – von der Tokenisierung über Attention bis zur Inferenz-Optimierung.

amitshekhariitbhu
⭐ 1,774 👤 amitshekhariitbhu User 🕐 Aktualisiert 2026-11-20 📅 Erstellt 2026-04-12
19
lucidrains/soundstorm-pytorch

Implementierung von SoundStorm, effiziente parallele Audiogenerierung von Google Deepmind, in Pytorch

lucidrains
⭐ 1,545 Python 👤 lucidrains User 🕐 Aktualisiert 2025-04-24 📅 Erstellt 2023-05-17
20
yulunzhang/RCAN

PyTorch-Code für unser ECCV 2018-Papier "Image Super-Resolution Using Very Deep Residual Channel Attention Networks"

yulunzhang
⭐ 1,497 Python 👤 yulunzhang User 🕐 Aktualisiert 2025-04-01 📅 Erstellt 2018-07-03
22
meta-pytorch/attention-gym

Hilfreiche Werkzeuge und Beispiele für die Arbeit mit Flex-Attention

meta-pytorch
⭐ 1,274 Python 👤 meta-pytorch Organization 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2024-07-31
23
lucidrains/perceiver-pytorch

Implementierung von Perceiver, Allgemeine Wahrnehmung mit Iterativer Aufmerksamkeit, in Pytorch

lucidrains
⭐ 1,223 Python 👤 lucidrains User 🕐 Aktualisiert 2026-10-26 📅 Erstellt 2021-03-05
24
awslabs/sockeye

Sequence-to-Sequence-Framework mit Schwerpunkt auf Neural Machine Translation basierend auf PyTorch

awslabs
⭐ 1,217 Python 👤 awslabs Organization 🕐 Aktualisiert 2024-10-24 📅 Erstellt 2017-06-08
25
chengtan9907/OpenSTL

OpenSTL: Ein umfassender Benchmark für spatio-temporales vorausschauendes Lernen

chengtan9907
⭐ 1,165 Python 👤 chengtan9907 User 🕐 Aktualisiert 2026-03-01 📅 Erstellt 2022-07-27
26
SuperBruceJia/EEG-DL

Eine Deep-Learning-Bibliothek für die Klassifizierung von EEG-Aufgaben (Signalen), basierend auf TensorFlow.

SuperBruceJia
⭐ 1,162 Python 👤 SuperBruceJia User 🕐 Aktualisiert 2025-07-20 📅 Erstellt 2020-04-30
27
cedrickchee/awesome-transformer-nlp

Eine kuratierte Liste von NLP-Ressourcen, die sich auf Transformer-Netzwerke, Attention-Mechanismus, GPT, BERT, ChatGPT, LLMs und Transfer Learning konzentriert.

cedrickchee
⭐ 1,124 👤 cedrickchee User 🕐 Aktualisiert 2024-10-27 📅 Erstellt 2019-01-13
28
lucidrains/tab-transformer-pytorch

Implementierung von TabTransformer, einem Aufmerksamkeitsnetzwerk für tabellarische Daten, in Pytorch

lucidrains
⭐ 1,097 Python 👤 lucidrains User 🕐 Aktualisiert 2026-01-08 📅 Erstellt 2020-12-15
29
qiuzh20/gated_attention

Die offizielle Implementierung für [NeurIPS2025 Oral] Gated Attention für Große Sprachmodelle: Nichtlinearität, Sparsität und Attention-Sink-Free

qiuzh20
⭐ 994 Jupyter Notebook 👤 qiuzh20 User 🕐 Aktualisiert 2025-12-20 📅 Erstellt 2025-05-09
30
AMLab-Amsterdam/AttentionDeepMIL

Implementierung von Attention-basiertem Deep Multiple Instance Learning in PyTorch

AMLab-Amsterdam
⭐ 965 Python 👤 AMLab-Amsterdam Organization 🕐 Aktualisiert 2024-01-08 📅 Erstellt 2018-02-26
31
lucidrains/linear-attention-transformer

Transformer, basierend auf einer Variante von Attention, die eine lineare Komplexität in Bezug auf die Sequenzlänge aufweist

lucidrains
⭐ 821 Python 👤 lucidrains User 🕐 Aktualisiert 2024-05-05 📅 Erstellt 2020-06-04
32
mit-han-lab/fastcomposer

[IJCV] FastComposer: Abstimmungsfreie Multi-Subjekt-Bilderzeugung mit lokalisierter Aufmerksamkeit

mit-han-lab
⭐ 716 Python 👤 mit-han-lab Organization 🕐 Aktualisiert 2025-01-10 📅 Erstellt 2023-05-17
33
swz30/MIRNet

[ECCV 2020] Erlernen von angereicherten Merkmalen für die Restaurierung und Verbesserung realer Bilder. SOTA-Ergebnisse für Bildentrauschung, Super-Resolution und Bildverbesserung.

swz30
⭐ 708 Python 👤 swz30 User 🕐 Aktualisiert 2024-04-18 📅 Erstellt 2020-03-11
34
positive666/yolo_research

basierend auf dem YOLO-High-Level-Projekt (erkennen\pose\klassifizieren\segmentieren\): einschließlich YOLOv5\YOLOv7\YOLOv8\Core, Verbesserungsforschung, SwinTransformerV2 und Attention Series. Schulungsfähigkeiten, Geschäftsanpassung, technische Bereitstellung C

positive666
⭐ 667 Python 👤 positive666 User 🕐 Aktualisiert 2026-04-27 📅 Erstellt 2021-02-25
35
Canjie-Luo/MORAN_v2

MORAN: Ein Multi-Object Rectified Attention Network für Scene Text Recognition

Canjie-Luo
⭐ 648 Python 👤 Canjie-Luo User 🕐 Aktualisiert 2024-07-25 📅 Erstellt 2019-01-09
36
zjx0101/ObjectClear

[CVPR'26] ObjectClear: Präzise Objekt- und Effektextraktion mit adaptiv an Ziel orientierter Aufmerksamkeit

zjx0101
⭐ 634 Python 👤 zjx0101 User 🕐 Aktualisiert 2026-08-03 📅 Erstellt 2025-05-28
37
therealoliver/Deepdive-llama3-from-scratch

Erreichen Sie den Llama3-Inferenzschritt für Schritt, erfassen Sie die Kernkonzepte, meistern Sie die Prozessableitung, implementieren Sie den Code.

therealoliver
⭐ 629 Jupyter Notebook 👤 therealoliver User 🕐 Aktualisiert 2025-02-24 📅 Erstellt 2025-02-19
38
kyegomez/zeta

Erstellen Sie hochleistungsfähige KI-Modelle mit modularen Bausteinen

kyegomez
⭐ 605 Python 👤 kyegomez User 🕐 Aktualisiert 2026-11-16 📅 Erstellt 2023-07-09
39
bhoov/exbert

Ein visuelles Analysetool zur Erkundung gelerntener Repräsentationen in Transformer-Modellen

bhoov
⭐ 602 Python 👤 bhoov User 🕐 Aktualisiert 2024-02-07 📅 Erstellt 2019-10-14
40
prs-eth/OverlapPredator

[CVPR 2021, Mündlich] PREDATOR: Registrierung von 3D-Punktwolken mit geringer Überlappung.

prs-eth
⭐ 599 Python 👤 prs-eth Organization 🕐 Aktualisiert 2025-02-20 📅 Erstellt 2020-11-24
41
Haiyang-W/TokenFormer

[ICLR2025 Spotlight🔥] Offizielle Implementierung von TokenFormer: Neudenken der Transformer-Skalierung mit tokenisierten Modellparametern

Haiyang-W
⭐ 590 Python 👤 Haiyang-W User 🕐 Aktualisiert 2025-02-11 📅 Erstellt 2024-10-29
43
lucidrains/enformer-pytorch

Implementierung von Enformer, Deepminds Aufmerksamkeitsnetzwerk zur Vorhersage der Genexpression, in Pytorch

lucidrains
⭐ 576 Python 👤 lucidrains User 🕐 Aktualisiert 2026-06-26 📅 Erstellt 2021-10-23
44
philipturner/metal-flash-attention

FlashAttention (Metal-Portierung)

philipturner
⭐ 570 Swift 👤 philipturner User 🕐 Aktualisiert 2024-09-22 📅 Erstellt 2023-06-23
45
wgcban/ChangeFormer

[IGARSS'22]: Ein Transformer-basiertes Siamese-Netzwerk zur Veränderungsdetektion

wgcban
⭐ 555 Python 👤 wgcban User 🕐 Aktualisiert 2024-01-31 📅 Erstellt 2021-12-02
46
lucidrains/ring-attention-pytorch

Implementierung von 💍 Ring Attention, von Liu et al. von Berkeley AI, in Pytorch

lucidrains
⭐ 547 Python 👤 lucidrains User 🕐 Aktualisiert 2025-05-16 📅 Erstellt 2024-02-14
47
kyegomez/RT-2

Demokratisierung von RT-2 „RT-2: Neues Modell übersetzt Vision und Sprache in Aktion“

kyegomez
⭐ 539 Python 👤 kyegomez User 🕐 Aktualisiert 2024-07-26 📅 Erstellt 2023-07-28
48
WenjieDu/SAITS

Die offizielle PyTorch-Implementierung des Papers "SAITS: Self-Attention-basierte Imputation für Zeitreihen". Ein schnelles und State-of-the-Art (SOTA) Deep-Learning-Neuronal-Netzwerk-Modell für effiziente Zeitreihen-Imputation (Imputation multivariater unvollständiger Zeitreihen mit NaN fehlenden Daten/Werten mittels Machine Learning). https://arxiv.org/abs/2202.08516

WenjieDu
⭐ 521 Python 👤 WenjieDu User 🕐 Aktualisiert 2026-08-25 📅 Erstellt 2021-12-07
49
zhengchen1999/DAT

[ICCV'23] Dual Aggregation Transformer zur Bild-Superauflösung

zhengchen1999
⭐ 517 Python 👤 zhengchen1999 User 🕐 Aktualisiert 2024-11-26 📅 Erstellt 2022-11-10
50
lucidrains/slot-attention

Implementierung von Slot Attention von Google AI

lucidrains
⭐ 502 Python 👤 lucidrains User 🕐 Aktualisiert 2026-06-06 📅 Erstellt 2020-06-29

Häufig gestellte Fragen

1

Welches ist das beliebteste #attention-mechanism-Repository auf GitHub?

Das am höchsten eingestufte Open-Source-#attention-mechanism-Projekt auf GitHub ist rasbt/LLMs-from-scratch mit 108,745 Sternen. Implementieren Sie Schritt für Schritt ein ChatGPT-ähnliches LLM in PyTorch von Grund auf neu

2

Welche Programmiersprachen werden in #attention-mechanism-Repositories am häufigsten verwendet?

Unter den am höchsten eingestuften #attention-mechanism-Projekten auf GitHub sind Python, Jupyter Notebook, Rust, Swift die am häufigsten verwendeten Programmiersprachen.

3

Wie wird das Ranking der #attention-mechanism-Repositories berechnet?

Wir verfolgen 50 aktive Open-Source-Repositories, die mit #attention-mechanism getaggt sind (500+ Sterne), mit insgesamt 274,514 Sternen und durchschnittlich 5,490 Sternen pro Repository. Die Rankings werden täglich über die GitHub-API aktualisiert.