Git Stars Git Stars

#attention-mechanism Dépôts

Découvrez 50 dépôts GitHub open source actifs associés à #attention-mechanism, cumulant 274,514 étoiles au total (soit une moyenne de 5,490 étoiles par projet). Le projet en tête de ce thème est rasbt/LLMs-from-scratch, avec 108,745 étoiles.

50
Total des Dépôts
274,514
Nombre total d'étoiles
5,490
Moyenne d'Étoiles/Dépôt
1
rasbt/LLMs-from-scratch

Implémentez à partir de zéro un LLM de type ChatGPT dans PyTorch, étape par étape

rasbt
⭐ 108,745 Jupyter Notebook 👤 rasbt User 🕐 Mis à jour 2026-11-20 📅 Créé 2023-07-23
2
lucidrains/vit-pytorch

Implémentation du Vision Transformer, un moyen simple d'atteindre le SOTA en classification visuelle avec un seul encodeur transformer dans Pytorch

lucidrains
⭐ 25,588 Python 👤 lucidrains User 🕐 Mis à jour 2026-11-07 📅 Créé 2020-10-03
3
Dao-AILab/flash-attention

Attention exacte rapide et économe en mémoire

Dao-AILab
⭐ 25,330 Python 👤 Dao-AILab Organization 🕐 Mis à jour 2026-11-21 📅 Créé 2022-05-19
4
nndl/nndl

《Réseaux neuronaux et apprentissage profond》 de Qiu Xipeng, deuxième édition et édition de culture générale : livre électronique, sommaire des chapitres, ressources d’apprentissage et errata.

nndl
⭐ 19,627 👤 nndl Organization 🕐 Mis à jour 2026-09-06 📅 Créé 2016-09-06
5
BlinkDL/RWKV-LM

RWKV (prononcé RwaKuv) est un RNN avec d'excellentes performances LLM, qui peut également être entraîné directement comme un transformer GPT (parallélisable). Nous en sommes à RWKV-7 "Goose". Il combine donc le meilleur des RNN et des transformers - d'excellentes performances, un temps linéaire, un espace constant (pas de cache kv), un entraînement rapide, une ctx_len infinie et une intégration de phrases gratuite.

BlinkDL
⭐ 14,786 Python 👤 BlinkDL User 🕐 Mis à jour 2026-11-04 📅 Créé 2021-08-08
6
facebookresearch/xformers

Blocs de construction Transformers hackables et optimisés, prenant en charge une construction composable.

facebookresearch
⭐ 10,579 Python 👤 facebookresearch Organization 🕐 Mis à jour 2026-11-13 📅 Créé 2021-10-13
7
lucidrains/x-transformers

Un transformeur full-attention concis mais complet doté d'un ensemble de fonctionnalités expérimentales prometteuses issues de divers articles

lucidrains
⭐ 5,966 Python 👤 lucidrains User 🕐 Mis à jour 2026-11-18 📅 Créé 2020-10-24
8
lucidrains/DALLE-pytorch

Implémentation / réplication de DALL-E, le Transformer Texte vers Image d'OpenAI, en Pytorch

lucidrains
⭐ 5,632 Python 👤 lucidrains User 🕐 Mis à jour 2024-02-17 📅 Créé 2021-01-05
9
cmhungsteve/Awesome-Transformer-Attention

Une liste finalement complète de papiers sur Vision Transformer/Attention, incluant papiers, codes et sites Web associés

cmhungsteve
⭐ 4,987 👤 cmhungsteve User 🕐 Mis à jour 2024-07-30 📅 Créé 2021-09-15
10
ruvnet/RuVector

RuVector fournit une prise de décision et une mémoire d’agents haute performance en temps réel, une IA auto-apprenante et une base de données GNN vectorielle développée en Rust.

ruvnet
⭐ 4,713 Rust 👤 ruvnet User 🕐 Mis à jour 2026-11-21 📅 Créé 2025-11-19
11
raiyanyahya/how-to-train-your-gpt

Construisez un LLM moderne de zéro. Chaque ligne commentée. Expliqué comme à des enfants de cinq ans.

raiyanyahya
⭐ 4,183 Jupyter Notebook 👤 raiyanyahya User 🕐 Mis à jour 2026-10-26 📅 Créé 2026-05-03
12
MLNLP-World/LLMs-from-scratch-CN

Traduction chinoise du projet LLMs-from-scratch

MLNLP-World
⭐ 3,100 Jupyter Notebook 👤 MLNLP-World Organization 🕐 Mis à jour 2026-04-19 📅 Créé 2025-01-20
13
sunsmarterjie/yolov12

[NeurIPS 2025] YOLOv12: Détecteurs d'objets en temps réel centrés sur l'attention

sunsmarterjie
⭐ 2,967 Python 👤 sunsmarterjie User 🕐 Mis à jour 2026-10-25 📅 Créé 2025-02-06
14
linto-ai/whisper-timestamped

Reconnaissance vocale automatique multilingue avec horodatages au niveau du mot et confiance

linto-ai
⭐ 2,860 Python 👤 linto-ai Organization 🕐 Mis à jour 2026-09-28 📅 Créé 2023-01-13
15
philipperemy/keras-attention

Couche d'attention de Keras (scores Luong et Bahdanau).

philipperemy
⭐ 2,809 Python 👤 philipperemy User 🕐 Mis à jour 2026-03-12 📅 Créé 2017-05-23
16
aburkov/theLMbook

Ceci est le dépôt officiel de "The Hundred-Page Language Models Book" par Andriy Burkov

aburkov
⭐ 2,194 Jupyter Notebook 👤 aburkov User 🕐 Mis à jour 2026-02-08 📅 Créé 2024-06-28
17
flybirdxx/ComfyUI-Qwen-TTS

Une simple implémentation de la ComfyUI de Qwen3-TTS

flybirdxx
⭐ 1,981 Python 👤 flybirdxx User 🕐 Mis à jour 2026-11-10 📅 Créé 2026-01-22
18
amitshekhariitbhu/llm-internals

Apprenez les internes des LLM étape par étape - de la tokenisation à l'attention et à l'optimisation de l'inférence.

amitshekhariitbhu
⭐ 1,774 👤 amitshekhariitbhu User 🕐 Mis à jour 2026-11-20 📅 Créé 2026-04-12
19
lucidrains/soundstorm-pytorch

Mise en œuvre de SoundStorm, génération audio parallèle efficace de Google Deepmind, en Pytorch

lucidrains
⭐ 1,545 Python 👤 lucidrains User 🕐 Mis à jour 2025-04-24 📅 Créé 2023-05-17
20
yulunzhang/RCAN

Code PyTorch pour notre article ECCV 2018 "Image Super-Resolution Using Very Deep Residual Channel Attention Networks"

yulunzhang
⭐ 1,497 Python 👤 yulunzhang User 🕐 Mis à jour 2025-04-01 📅 Créé 2018-07-03
22
meta-pytorch/attention-gym

Outils et exemples utiles pour travailler avec flex-attention

meta-pytorch
⭐ 1,274 Python 👤 meta-pytorch Organization 🕐 Mis à jour 2026-11-21 📅 Créé 2024-07-31
23
lucidrains/perceiver-pytorch

Implémentation de Perceiver, Perception Générale avec Attention Itérative, en Pytorch

lucidrains
⭐ 1,223 Python 👤 lucidrains User 🕐 Mis à jour 2026-10-26 📅 Créé 2021-03-05
24
awslabs/sockeye

Cadre sequence-to-sequence avec un accent sur la traduction automatique neuronale basé sur PyTorch

awslabs
⭐ 1,217 Python 👤 awslabs Organization 🕐 Mis à jour 2024-10-24 📅 Créé 2017-06-08
25
chengtan9907/OpenSTL

OpenSTL : Une référence complète pour l'apprentissage prédictif spatio-temporel

chengtan9907
⭐ 1,165 Python 👤 chengtan9907 User 🕐 Mis à jour 2026-03-01 📅 Créé 2022-07-27
26
SuperBruceJia/EEG-DL

Une bibliothèque d'apprentissage profond pour la classification des tâches (signaux) EEG, basée sur TensorFlow.

SuperBruceJia
⭐ 1,162 Python 👤 SuperBruceJia User 🕐 Mis à jour 2025-07-20 📅 Créé 2020-04-30
27
cedrickchee/awesome-transformer-nlp

Une liste sélectionnée de ressources en NLP centrée sur les réseaux Transformer, le mécanisme d'attention, GPT, BERT, ChatGPT, LLMs et l'apprentissage par transfert.

cedrickchee
⭐ 1,124 👤 cedrickchee User 🕐 Mis à jour 2024-10-27 📅 Créé 2019-01-13
28
lucidrains/tab-transformer-pytorch

Implémentation de TabTransformer, un réseau d'attention pour les données tabulaires, dans Pytorch

lucidrains
⭐ 1,097 Python 👤 lucidrains User 🕐 Mis à jour 2026-01-08 📅 Créé 2020-12-15
29
qiuzh20/gated_attention

L'implémentation officielle pour [NeurIPS2025 Oral] Gated Attention pour les Grands Modèles de Langage : Non-linéarité, Sparsité et Sans Attention-Sink (Attention-Sink-Free)

qiuzh20
⭐ 994 Jupyter Notebook 👤 qiuzh20 User 🕐 Mis à jour 2025-12-20 📅 Créé 2025-05-09
30
AMLab-Amsterdam/AttentionDeepMIL

Implémentation de l'Apprentissage Profond Multi-Instance Basé sur l'Attention en PyTorch

AMLab-Amsterdam
⭐ 965 Python 👤 AMLab-Amsterdam Organization 🕐 Mis à jour 2024-01-08 📅 Créé 2018-02-26
31
lucidrains/linear-attention-transformer

Transformer basé sur une variante d'attention qui a une complexité linéaire par rapport à la longueur de la séquence

lucidrains
⭐ 821 Python 👤 lucidrains User 🕐 Mis à jour 2024-05-05 📅 Créé 2020-06-04
32
mit-han-lab/fastcomposer

[IJCV] FastComposer : Génération d'images multi-sujets sans réglage avec attention localisée

mit-han-lab
⭐ 716 Python 👤 mit-han-lab Organization 🕐 Mis à jour 2025-01-10 📅 Créé 2023-05-17
33
swz30/MIRNet

[ECCV 2020] Apprentissage de caractéristiques enrichies pour la restauration et l'amélioration d'images réelles. Résultats SOTA pour le débruitage d'images, la super-résolution et l'amélioration d'images.

swz30
⭐ 708 Python 👤 swz30 User 🕐 Mis à jour 2024-04-18 📅 Créé 2020-03-11
34
positive666/yolo_research

basé sur le projet de haut niveau YOLO (détecter\poser\classer\segmenter\) : inclure YOLOv5\YOLOv7\YOLOv8\ Core, recherche d'amélioration, SwinTransformerV2 et Attention Series. compétences de formation, personnalisation commerciale, déploiement d'ingénierie C

positive666
⭐ 667 Python 👤 positive666 User 🕐 Mis à jour 2026-04-27 📅 Créé 2021-02-25
35
Canjie-Luo/MORAN_v2

MORAN : Un Réseau d'Attention Rectifié Multi-Objets pour la Reconnaissance de Texte de Scène

Canjie-Luo
⭐ 648 Python 👤 Canjie-Luo User 🕐 Mis à jour 2024-07-25 📅 Créé 2019-01-09
36
zjx0101/ObjectClear

[CVPR'26] ObjectClear : Suppression précise d’objets et d’effets avec attention adaptative ciblée

zjx0101
⭐ 634 Python 👤 zjx0101 User 🕐 Mis à jour 2026-08-03 📅 Créé 2025-05-28
37
therealoliver/Deepdive-llama3-from-scratch

Réalisez l'étape d'inférence de llama3 étape par étape, saisissez les concepts clés, maîtrisez la dérivation du processus, implémentez le code.

therealoliver
⭐ 629 Jupyter Notebook 👤 therealoliver User 🕐 Mis à jour 2025-02-24 📅 Créé 2025-02-19
38
kyegomez/zeta

Créez des modèles d'IA haute performance avec des blocs de construction modulaires

kyegomez
⭐ 605 Python 👤 kyegomez User 🕐 Mis à jour 2026-11-16 📅 Créé 2023-07-09
39
bhoov/exbert

Un outil d'analyse visuelle pour explorer les représentations apprises dans les modèles Transformers

bhoov
⭐ 602 Python 👤 bhoov User 🕐 Mis à jour 2024-02-07 📅 Créé 2019-10-14
40
prs-eth/OverlapPredator

[CVPR 2021, Oral] PREDATOR : Enregistrement de nuages de points 3D avec un faible chevauchement.

prs-eth
⭐ 599 Python 👤 prs-eth Organization 🕐 Mis à jour 2025-02-20 📅 Créé 2020-11-24
41
Haiyang-W/TokenFormer

[ICLR2025 Spotlight🔥] Implémentation officielle de TokenFormer : Repenser le passage à l'échelle des Transformers avec des paramètres de modèle tokenisés

Haiyang-W
⭐ 590 Python 👤 Haiyang-W User 🕐 Mis à jour 2025-02-11 📅 Créé 2024-10-29
43
lucidrains/enformer-pytorch

Implémentation d'Enformer, le réseau d'attention de Deepmind pour la prédiction de l'expression génique, en Pytorch

lucidrains
⭐ 576 Python 👤 lucidrains User 🕐 Mis à jour 2026-06-26 📅 Créé 2021-10-23
44
philipturner/metal-flash-attention

FlashAttention (Portage Metal)

philipturner
⭐ 570 Swift 👤 philipturner User 🕐 Mis à jour 2024-09-22 📅 Créé 2023-06-23
45
wgcban/ChangeFormer

[IGARSS'22]: Un réseau siamois basé sur un transformeur pour la détection de changements

wgcban
⭐ 555 Python 👤 wgcban User 🕐 Mis à jour 2024-01-31 📅 Créé 2021-12-02
46
lucidrains/ring-attention-pytorch

Implémentation de 💍 Ring Attention, par Liu et al. de Berkeley AI, dans Pytorch

lucidrains
⭐ 547 Python 👤 lucidrains User 🕐 Mis à jour 2025-05-16 📅 Créé 2024-02-14
47
kyegomez/RT-2

Démocratisation de RT-2 « RT-2 : Nouveau modèle traduisant la vision et le langage en action »

kyegomez
⭐ 539 Python 👤 kyegomez User 🕐 Mis à jour 2024-07-26 📅 Créé 2023-07-28
48
WenjieDu/SAITS

L'implémentation officielle PyTorch du papier "SAITS: Imputation basée sur l'auto-attention pour les séries temporelles". Un modèle de réseau de neurones en apprentissage profond rapide et de l'état de l'art (SOTA) pour l'imputation efficace des séries temporelles (imputer des séries temporelles multivariées incomplètes contenant des données/valeurs manquantes NaN avec l'apprentissage automatique). https://arxiv.org/abs/2202.08516

WenjieDu
⭐ 521 Python 👤 WenjieDu User 🕐 Mis à jour 2026-08-25 📅 Créé 2021-12-07
49
zhengchen1999/DAT

[ICCV'23] Transformateur à Double Agrégation pour la Super-Résolution d'Images

zhengchen1999
⭐ 517 Python 👤 zhengchen1999 User 🕐 Mis à jour 2024-11-26 📅 Créé 2022-11-10
50
lucidrains/slot-attention

Implémentation de Slot Attention de Google AI

lucidrains
⭐ 502 Python 👤 lucidrains User 🕐 Mis à jour 2026-06-06 📅 Créé 2020-06-29

Foire aux questions

1

Quel est le dépôt #attention-mechanism le plus populaire sur GitHub ?

Le projet #attention-mechanism open source le mieux classé sur GitHub est rasbt/LLMs-from-scratch, avec 108,745 étoiles. Implémentez à partir de zéro un LLM de type ChatGPT dans PyTorch, étape par étape

2

Quels langages de programmation sont les plus utilisés dans les dépôts #attention-mechanism ?

Parmi les projets #attention-mechanism les mieux classés sur GitHub, les langages de programmation les plus courants sont Python, Jupyter Notebook, Rust, Swift.

3

Comment le classement des dépôts #attention-mechanism est-il calculé ?

Nous suivons 50 dépôts open source actifs associés à #attention-mechanism (500+ étoiles), totalisant 274,514 étoiles, avec une moyenne de 5,490 étoiles par dépôt. Les classements sont mis à jour quotidiennement à partir de l’API GitHub.