Git Stars Git Stars

#attention-mechanisms Repositories

Entdecke 39 aktive Open-Source-GitHub-Repositories, die mit #attention-mechanisms getaggt sind und insgesamt 77,773 Sterne gesammelt haben (durchschnittlich 1,994 Sterne pro Projekt). Spitzenreiter in diesem Themenbereich ist lucidrains/PaLM-rlhf-pytorch mit 7,858 Sternen.

39
Gesamtzahl der Repositories
77,773
Gesamtanzahl der Sterne
1,994
Durchschnittliche Sterne/Repo

Insgesamt 39 Repositories

1
lucidrains/PaLM-rlhf-pytorch

Implementierung von RLHF (Reinforcement Learning with Human Feedback) auf der PaLM-Architektur. Im Grunde ChatGPT, aber mit PaLM

lucidrains
⭐ 7,858 Python 👤 lucidrains User 🕐 Aktualisiert 2026-09-20 📅 Erstellt 2022-12-09
2
lllyasviel/Omost

Dein Bild ist fast fertig!

lllyasviel
⭐ 7,661 Python 👤 lllyasviel User 🕐 Aktualisiert 2024-07-26 📅 Erstellt 2024-05-29
3
mit-han-lab/streaming-llm

[ICLR 2024] Effiziente Streaming-Sprachmodelle mit Attention Sinks

mit-han-lab
⭐ 7,165 Python 👤 mit-han-lab Organization 🕐 Aktualisiert 2024-07-11 📅 Erstellt 2023-09-29
5
cmhungsteve/Awesome-Transformer-Attention

Eine letztlich umfassende Liste von Papieren zu Vision Transformer/Attention, einschließlich Papieren, Codes und verwandter Websites

cmhungsteve
⭐ 4,987 👤 cmhungsteve User 🕐 Aktualisiert 2024-07-30 📅 Erstellt 2021-09-15
6
fundamentalvision/Deformable-DETR

Deformable DETR: Deformable Transformer für die End-to-End Objekterkennung.

fundamentalvision
⭐ 3,846 Python 👤 fundamentalvision Organization 🕐 Aktualisiert 2024-05-16 📅 Erstellt 2020-11-30
7
Everlyn-Labs/Everlyn-1

Das erste offene autoregressive grundlegende Video-KI-Modell.

Everlyn-Labs
⭐ 2,891 👤 Everlyn-Labs Organization 🕐 Aktualisiert 2026-10-07 📅 Erstellt 2024-10-13
8
MenghaoGuo/Awesome-Vision-Attentions

Zusammenfassung verwandter Arbeiten zur visuellen Aufmerksamkeit. Verwandter Code wird schrittweise auf Jittor veröffentlicht.

MenghaoGuo
⭐ 2,844 Python 👤 MenghaoGuo User 🕐 Aktualisiert 2024-10-20 📅 Erstellt 2021-09-01
9
lucidrains/audiolm-pytorch

Implementierung von AudioLM, einem SOTA Language Modeling Ansatz zur Audiogenerierung aus Google Research, in Pytorch

lucidrains
⭐ 2,620 Python 👤 lucidrains User 🕐 Aktualisiert 2025-01-12 📅 Erstellt 2022-09-09
10
heykeetae/Self-Attention-GAN

PyTorch-Implementierung von Self-Attention Generative Adversarial Networks (SAGAN)

heykeetae
⭐ 2,603 Python 👤 heykeetae User 🕐 Aktualisiert 2024-04-22 📅 Erstellt 2018-05-28
11
lucidrains/toolformer-pytorch

Implementierung von Toolformer, Sprachmodellen, die Werkzeuge verwenden können, von MetaAI

lucidrains
⭐ 2,055 Python 👤 lucidrains User 🕐 Aktualisiert 2024-07-22 📅 Erstellt 2023-02-10
12
lucidrains/make-a-video-pytorch

Implementierung von Make-A-Video, dem neuen SOTA-Text-zu-Video-Generator von Meta AI, in Pytorch

lucidrains
⭐ 1,983 Python 👤 lucidrains User 🕐 Aktualisiert 2024-05-03 📅 Erstellt 2022-09-29
13
lehaifeng/T-GCN

Temporales Graph-Convolutional-Netzwerk für die Vorhersage des städtischen Verkehrsflusses

lehaifeng
⭐ 1,782 Jupyter Notebook 👤 lehaifeng User 🕐 Aktualisiert 2025-09-01 📅 Erstellt 2018-11-12
14
lucidrains/alphafold3-pytorch

Implementierung von Alphafold 3 von Google Deepmind in Pytorch

lucidrains
⭐ 1,700 Python 👤 lucidrains User 🕐 Aktualisiert 2026-08-10 📅 Erstellt 2024-05-08
15
franciszzj/Leffa

[CVPR 2025] Erlernen von Flussfeldern in Attention für kontrollierbare Personengenerierung

franciszzj
⭐ 1,675 Python 👤 franciszzj User 🕐 Aktualisiert 2025-09-12 📅 Erstellt 2024-12-05
16
AIFengheshu/Plug-play-modules

Die umfassendsten Plug-and-Play-Module für das gesamte Netz 2025, kostenlos geteilt! CVPR2025, AAAI2025, ICLR2025, TNNLS2025, arXiv2025...... Umfasst alle Bereiche der künstlichen Intelligenz (maschinelles Lernen, Deep Learning usw.), geeignet für Bildklassifizierung, Objektdetektion, Instanzsegmentierung, semantische Segmentierung, panoptische Segmentierung, Posenschätzung, medizinische Bildsegmentierung, Video-Objektsegmentierung, Bildfreistellung, Bildbearbeitung, Einzelobjektverfolgung, Mehrfachobjektverfolgung, Personenwiedererkennung, RGBT, Bildrauschen, Regenentfernung, Nebelentfernung, Schattenentfernung, Unschärferentfernung, Super-Resolution, Reflektionsentfernung, Moiré-Muster-Entfernung, Bildwiederherstellung, Bildrekonstruktion, Hyperspektrale Bildwiederherstellung, Bildfusion, Kolorierung von Bildern, High-Dynamic-Range-Imaging, Video- und Bildkomprimierung, 3D-Punktwolken, 3D-Objektdetektion, 3D-semantische Segmentierung, 3D-Posenschätzung usw. sowie andere KI-bezogene Aufgaben wie natürliche Sprachverarbeitung, große Sprachmodelle, Multimodalität usw. Kontinuierliche Aktualisierung......

AIFengheshu
⭐ 1,547 Python 👤 AIFengheshu User 🕐 Aktualisiert 2025-05-24 📅 Erstellt 2024-10-09
17
XPixelGroup/HAT

CVPR2023 - Aktivierung von mehr Pixeln in Image Super-Resolution Transformer TPAMI - HAT: Hybrid Attention Transformer für Image Restoration

XPixelGroup
⭐ 1,455 Python 👤 XPixelGroup Organization 🕐 Aktualisiert 2024-06-02 📅 Erstellt 2022-04-27
18
facebookresearch/llm-transparency-tool

LLM Transparency Tool (LLM-TT), ein Open-Source-Toolkit für die Analyse der internen Funktionsweise von Transformer-basierten Sprachmodellen. *Demo ansehen unter* https://huggingface.co/spaces/facebook/llm-transparency-tool-demo

facebookresearch
⭐ 1,228 Python 👤 facebookresearch Organization 🕐 Aktualisiert 2024-12-03 📅 Erstellt 2023-12-21
19
DAMO-NLP-SG/VideoLLaMA3

Frontier Multimodale Basismodelle für Bild- und Videoverständnis

DAMO-NLP-SG
⭐ 1,174 Jupyter Notebook 👤 DAMO-NLP-SG Organization 🕐 Aktualisiert 2025-08-14 📅 Erstellt 2025-01-19
20
gpu-mode/awesomeMLSys

Eine ML-System-Onboarding-Liste

gpu-mode
⭐ 1,154 👤 gpu-mode Organization 🕐 Aktualisiert 2026-02-19 📅 Erstellt 2024-05-06
21
zhuzilin/ring-flash-attention

Ring-Attention-Implementierung mit Flash-Attention

zhuzilin
⭐ 1,054 Python 👤 zhuzilin User 🕐 Aktualisiert 2025-09-10 📅 Erstellt 2024-02-21
22
lucidrains/BS-RoFormer

Implementierung von Band Split Roformer, einem SOTA-Aufmerksamkeitsnetzwerk für die Musikquellentrennung aus den ByteDance AI Labs

lucidrains
⭐ 1,030 Python 👤 lucidrains User 🕐 Aktualisiert 2026-11-04 📅 Erstellt 2023-09-09
23
microsoft/Samba

[ICLR 2025] Samba: Einfache hybride Zustandsraummodelle für effizientes Sprachmodellieren mit unbegrenztem Kontext

microsoft
⭐ 981 Python 👤 microsoft Organization 🕐 Aktualisiert 2025-11-16 📅 Erstellt 2024-06-05
24
daixiangzi/Awesome-Token-Compress

Eine Papiersammlung einiger neuer Arbeiten über Token-Kompression für Vit und VLM

daixiangzi
⭐ 966 👤 daixiangzi User 🕐 Aktualisiert 2026-11-13 📅 Erstellt 2024-09-06
25
lucidrains/muse-maskgit-pytorch

Implementierung von Muse: Text-zu-Bild-Generierung über maskierte generative Transformer in Pytorch

lucidrains
⭐ 920 Python 👤 lucidrains User 🕐 Aktualisiert 2024-02-29 📅 Erstellt 2023-01-03
26
lucidrains/meshgpt-pytorch

Implementierung von MeshGPT, SOTA-Mesh-Generierung mittels Attention, in Pytorch

lucidrains
⭐ 858 Python 👤 lucidrains User 🕐 Aktualisiert 2024-12-24 📅 Erstellt 2023-11-29
27
mystorm16/FastVGGT

[ICLR 2026] FastVGGT: Schneller Visueller Geometrie-Transformer

mystorm16
⭐ 826 Python 👤 mystorm16 User 🕐 Aktualisiert 2026-01-28 📅 Erstellt 2025-09-01
28
lucidrains/phenaki-pytorch

Implementierung von Phenaki Video, das Mask GIT verwendet, um textgesteuerte Videos von bis zu 2 Minuten Länge in Pytorch zu produzieren

lucidrains
⭐ 792 Python 👤 lucidrains User 🕐 Aktualisiert 2024-07-29 📅 Erstellt 2022-09-29
29
D-Keqi/mtla

MTLA: Multi-head Temporal Latent Attention

D-Keqi
⭐ 761 Python 👤 D-Keqi User 🕐 Aktualisiert 2025-10-06 📅 Erstellt 2025-05-19
31
kyegomez/LongNet

Implementierung von Plug-in-and-Play-Attention aus "LongNet: Skalierung von Transformatoren auf 1.000.000.000 Token"

kyegomez
⭐ 715 Python 👤 kyegomez User 🕐 Aktualisiert 2024-01-07 📅 Erstellt 2023-07-06
32
JulesBelveze/time-series-autoencoder

PyTorch Dual-Attention LSTM-Autoencoder für multivariate Zeitreihen

JulesBelveze
⭐ 715 Python 👤 JulesBelveze User 🕐 Aktualisiert 2025-11-11 📅 Erstellt 2020-06-05
33
lucidrains/magvit2-pytorch

Implementierung des MagViT2 Tokenizers in Pytorch

lucidrains
⭐ 664 Python 👤 lucidrains User 🕐 Aktualisiert 2025-01-12 📅 Erstellt 2023-10-10
34
LeapLabTHU/Agent-Attention

Offizielles Repository von Agent Attention (ECCV2024)

LeapLabTHU
⭐ 657 Python 👤 LeapLabTHU User 🕐 Aktualisiert 2024-11-17 📅 Erstellt 2023-12-12
35
lucidrains/MEGABYTE-pytorch

Implementierung von MEGABYTE, Vorhersage von Million-Byte-Sequenzen mit multiskalaren Transformatoren, in Pytorch

lucidrains
⭐ 655 Python 👤 lucidrains User 🕐 Aktualisiert 2024-12-27 📅 Erstellt 2023-05-15
36
lucidrains/mmdit

Implementierung einer einzelnen Schicht des MMDiT, vorgeschlagen in Stable Diffusion 3, in Pytorch

lucidrains
⭐ 564 Python 👤 lucidrains User 🕐 Aktualisiert 2026-01-18 📅 Erstellt 2024-05-04
37
lucidrains/iTransformer

Inoffizielle Implementierung von iTransformer - SOTA Zeitreihenvorhersage unter Verwendung von Aufmerksamkeitsnetzwerken, von Tsinghua / Ant-Gruppe

lucidrains
⭐ 535 Python 👤 lucidrains User 🕐 Aktualisiert 2025-06-12 📅 Erstellt 2023-10-11
38
changzy00/pytorch-attention

🦖Pytorch-Implementierung beliebter Aufmerksamkeitsmechanismen, Vision Transformers, MLP-ähnlicher Modelle und CNNs.🔥🔥🔥

changzy00
⭐ 530 Python 👤 changzy00 User 🕐 Aktualisiert 2024-01-11 📅 Erstellt 2023-05-26
39
lucidrains/local-attention

Eine Implementierung lokaler gefensterter Aufmerksamkeit für die Sprachmodellierung

lucidrains
⭐ 502 Python 👤 lucidrains User 🕐 Aktualisiert 2025-07-16 📅 Erstellt 2020-07-05

Häufig gestellte Fragen

1

Welches ist das beliebteste #attention-mechanisms-Repository auf GitHub?

Das am höchsten eingestufte Open-Source-#attention-mechanisms-Projekt auf GitHub ist lucidrains/PaLM-rlhf-pytorch mit 7,858 Sternen. Implementierung von RLHF (Reinforcement Learning with Human Feedback) auf der PaLM-Architektur. Im Grunde ChatGPT, aber mit PaLM

2

Welche Programmiersprachen werden in #attention-mechanisms-Repositories am häufigsten verwendet?

Unter den am höchsten eingestuften #attention-mechanisms-Projekten auf GitHub sind Python, Jupyter Notebook, TypeScript die am häufigsten verwendeten Programmiersprachen.

3

Wie wird das Ranking der #attention-mechanisms-Repositories berechnet?

Wir verfolgen 39 aktive Open-Source-Repositories, die mit #attention-mechanisms getaggt sind (500+ Sterne), mit insgesamt 77,773 Sternen und durchschnittlich 1,994 Sternen pro Repository. Die Rankings werden täglich über die GitHub-API aktualisiert.