Git Stars Git Stars

#attention-mechanisms Dépôts

Découvrez 39 dépôts GitHub open source actifs associés à #attention-mechanisms, cumulant 77,773 étoiles au total (soit une moyenne de 1,994 étoiles par projet). Le projet en tête de ce thème est lucidrains/PaLM-rlhf-pytorch, avec 7,858 étoiles.

39
Total des Dépôts
77,773
Nombre total d'étoiles
1,994
Moyenne d'Étoiles/Dépôt
1
lucidrains/PaLM-rlhf-pytorch

Implémentation de RLHF (Reinforcement Learning with Human Feedback) par-dessus l'architecture PaLM. Essentiellement ChatGPT mais avec PaLM

lucidrains
⭐ 7,858 Python 👤 lucidrains User 🕐 Mis à jour 2026-09-20 📅 Créé 2022-12-09
2
lllyasviel/Omost

Votre image est presque prête !

lllyasviel
⭐ 7,661 Python 👤 lllyasviel User 🕐 Mis à jour 2024-07-26 📅 Créé 2024-05-29
3
mit-han-lab/streaming-llm

[ICLR 2024] Modèles de Langage Efficaces en Streaming avec des Puits d'Attention

mit-han-lab
⭐ 7,165 Python 👤 mit-han-lab Organization 🕐 Mis à jour 2024-07-11 📅 Créé 2023-09-29
5
cmhungsteve/Awesome-Transformer-Attention

Une liste finalement complète de papiers sur Vision Transformer/Attention, incluant papiers, codes et sites Web associés

cmhungsteve
⭐ 4,987 👤 cmhungsteve User 🕐 Mis à jour 2024-07-30 📅 Créé 2021-09-15
6
fundamentalvision/Deformable-DETR

Deformable DETR : Transformeurs déformables pour la détection d'objets de bout en bout.

fundamentalvision
⭐ 3,846 Python 👤 fundamentalvision Organization 🕐 Mis à jour 2024-05-16 📅 Créé 2020-11-30
7
Everlyn-Labs/Everlyn-1

Le premier modèle vidéo IA fondamental autorégressif ouvert.

Everlyn-Labs
⭐ 2,891 👤 Everlyn-Labs Organization 🕐 Mis à jour 2026-10-07 📅 Créé 2024-10-13
8
MenghaoGuo/Awesome-Vision-Attentions

Résumé des articles liés à l'attention visuelle. Le code associé sera progressivement publié sur Jittor.

MenghaoGuo
⭐ 2,844 Python 👤 MenghaoGuo User 🕐 Mis à jour 2024-10-20 📅 Créé 2021-09-01
9
lucidrains/audiolm-pytorch

Implémentation d'AudioLM, une approche de modélisation du langage SOTA pour la génération audio de Google Research, dans Pytorch

lucidrains
⭐ 2,620 Python 👤 lucidrains User 🕐 Mis à jour 2025-01-12 📅 Créé 2022-09-09
10
heykeetae/Self-Attention-GAN

Implémentation PyTorch de Self-Attention Generative Adversarial Networks (SAGAN)

heykeetae
⭐ 2,603 Python 👤 heykeetae User 🕐 Mis à jour 2024-04-22 📅 Créé 2018-05-28
11
lucidrains/toolformer-pytorch

Implémentation de Toolformer, Language Models That Can Use Tools, par MetaAI

lucidrains
⭐ 2,055 Python 👤 lucidrains User 🕐 Mis à jour 2024-07-22 📅 Créé 2023-02-10
12
lucidrains/make-a-video-pytorch

Implémentation de Make-A-Video, le nouveau générateur texte-vidéo SOTA de Meta AI, en Pytorch

lucidrains
⭐ 1,983 Python 👤 lucidrains User 🕐 Mis à jour 2024-05-03 📅 Créé 2022-09-29
13
lehaifeng/T-GCN

Réseau Convolutif de Graphes Temporel pour la Prévision du Flux de Trafic Urbain Méthode

lehaifeng
⭐ 1,782 Jupyter Notebook 👤 lehaifeng User 🕐 Mis à jour 2025-09-01 📅 Créé 2018-11-12
14
lucidrains/alphafold3-pytorch

Implémentation d'Alphafold 3 de Google Deepmind en Pytorch

lucidrains
⭐ 1,700 Python 👤 lucidrains User 🕐 Mis à jour 2026-08-10 📅 Créé 2024-05-08
15
franciszzj/Leffa

[CVPR 2025] Apprentissage de champs de flux dans l'attention pour la génération d'images de personnes contrôlable

franciszzj
⭐ 1,675 Python 👤 franciszzj User 🕐 Mis à jour 2025-09-12 📅 Créé 2024-12-05
16
AIFengheshu/Plug-play-modules

Les modules plug-and-play les plus complets pour l'ensemble du réseau en 2025, partagés gratuitement ! CVPR2025, AAAI2025, ICLR2025, TNNLS2025, arXiv2025...... Comprend tous les domaines de l'intelligence artificielle (apprentissage automatique, apprentissage profond, etc.), adaptés à la classification d'images, à la détection d'objets, à la segmentation d'instances, à la segmentation sémantique, à la segmentation panoptique, à l'estimation de pose, à la segmentation d'images médicales, à la segmentation d'objets vidéo, au détourage d'images, à l'édition d'images, au suivi d'objets uniques, au suivi d'objets multiples, à la ré-identification de personnes, RGBT, débruitage d'images, suppression de la pluie, suppression du brouillard, suppression des ombres, suppression du flou, super-résolution, suppression des reflets, suppression des motifs moirés, restauration d'images, réparation d'images, restauration d'images hyperspectrales, fusion d'images, colorisation d'images, imagerie à grande gamme dynamique, compression vidéo et image, nuages de points 3D, détection d'objets 3D, segmentation sémantique 3D, estimation de pose 3D, etc., ainsi qu'à d'autres tâches liées à l'IA telles que le traitement du langage naturel, les grands modèles linguistiques, le multimodal, etc. Mise à jour continue......

AIFengheshu
⭐ 1,547 Python 👤 AIFengheshu User 🕐 Mis à jour 2025-05-24 📅 Créé 2024-10-09
17
XPixelGroup/HAT

CVPR2023 - Activation de plus de pixels dans le transformeur de super-résolution d'images TPAMI - HAT : Transformeur d'attention hybride pour la restauration d'images

XPixelGroup
⭐ 1,455 Python 👤 XPixelGroup Organization 🕐 Mis à jour 2024-06-02 📅 Créé 2022-04-27
18
facebookresearch/llm-transparency-tool

LLM Transparency Tool (LLM-TT), une boîte à outils interactive open-source pour analyser le fonctionnement interne des modèles linguistiques basés sur Transformer. *Découvrez la démo sur* https://huggingface.co/spaces/facebook/llm-transparency-tool-demo

facebookresearch
⭐ 1,228 Python 👤 facebookresearch Organization 🕐 Mis à jour 2024-12-03 📅 Créé 2023-12-21
19
DAMO-NLP-SG/VideoLLaMA3

Modèles Fondamentaux Multimodaux de Pointe pour la Compréhension d'Images et de Vidéos

DAMO-NLP-SG
⭐ 1,174 Jupyter Notebook 👤 DAMO-NLP-SG Organization 🕐 Mis à jour 2025-08-14 📅 Créé 2025-01-19
20
gpu-mode/awesomeMLSys

Une liste d'intégration de systèmes ML

gpu-mode
⭐ 1,154 👤 gpu-mode Organization 🕐 Mis à jour 2026-02-19 📅 Créé 2024-05-06
21
zhuzilin/ring-flash-attention

Implémentation de l'attention en anneau avec flash attention

zhuzilin
⭐ 1,054 Python 👤 zhuzilin User 🕐 Mis à jour 2025-09-10 📅 Créé 2024-02-21
22
lucidrains/BS-RoFormer

Implémentation de Band Split Roformer, un réseau d'attention SOTA pour la séparation de sources musicales issu des ByteDance AI Labs

lucidrains
⭐ 1,030 Python 👤 lucidrains User 🕐 Mis à jour 2026-11-04 📅 Créé 2023-09-09
23
microsoft/Samba

[ICLR 2025] Samba : Modèles hybrides simples à espace d'états pour une modélisation de langage à contexte illimité et efficace

microsoft
⭐ 981 Python 👤 microsoft Organization 🕐 Mis à jour 2025-11-16 📅 Créé 2024-06-05
24
daixiangzi/Awesome-Token-Compress

Une liste de papiers sur des travaux récents concernant la compression de jetons pour Vit et VLM

daixiangzi
⭐ 966 👤 daixiangzi User 🕐 Mis à jour 2026-11-13 📅 Créé 2024-09-06
25
lucidrains/muse-maskgit-pytorch

Implémentation de Muse : Génération de texte en image via des transformeurs génératifs masqués en Pytorch

lucidrains
⭐ 920 Python 👤 lucidrains User 🕐 Mis à jour 2024-02-29 📅 Créé 2023-01-03
26
lucidrains/meshgpt-pytorch

Implémentation de MeshGPT, génération de maillage SOTA utilisant l'Attention, en Pytorch

lucidrains
⭐ 858 Python 👤 lucidrains User 🕐 Mis à jour 2024-12-24 📅 Créé 2023-11-29
27
mystorm16/FastVGGT

[ICLR 2026] FastVGGT: Transformateur Rapide de Géométrie Visuelle

mystorm16
⭐ 826 Python 👤 mystorm16 User 🕐 Mis à jour 2026-01-28 📅 Créé 2025-09-01
28
lucidrains/phenaki-pytorch

Implémentation de Phenaki Video, qui utilise Mask GIT pour produire des vidéos guidées par texte d'une durée maximale de 2 minutes en Pytorch

lucidrains
⭐ 792 Python 👤 lucidrains User 🕐 Mis à jour 2024-07-29 📅 Créé 2022-09-29
29
D-Keqi/mtla

MTLA: Multi-head Temporal Latent Attention

D-Keqi
⭐ 761 Python 👤 D-Keqi User 🕐 Mis à jour 2025-10-06 📅 Créé 2025-05-19
31
kyegomez/LongNet

Implémentation de l'attention plug-and-play de "LongNet : Scalabilité des transformeurs à 1 milliard de tokens"

kyegomez
⭐ 715 Python 👤 kyegomez User 🕐 Mis à jour 2024-01-07 📅 Créé 2023-07-06
32
JulesBelveze/time-series-autoencoder

PyTorch Dual-Attention LSTM-Autoencodeur pour séries temporelles multivariées

JulesBelveze
⭐ 715 Python 👤 JulesBelveze User 🕐 Mis à jour 2025-11-11 📅 Créé 2020-06-05
33
lucidrains/magvit2-pytorch

Implémentation du Tokenizer MagViT2 dans Pytorch

lucidrains
⭐ 664 Python 👤 lucidrains User 🕐 Mis à jour 2025-01-12 📅 Créé 2023-10-10
34
LeapLabTHU/Agent-Attention

Référentiel officiel d'Agent Attention (ECCV2024)

LeapLabTHU
⭐ 657 Python 👤 LeapLabTHU User 🕐 Mis à jour 2024-11-17 📅 Créé 2023-12-12
35
lucidrains/MEGABYTE-pytorch

Implémentation de MEGABYTE, Prédiction de séquences d'un million d'octets avec des transformeurs multi-échelles, dans Pytorch

lucidrains
⭐ 655 Python 👤 lucidrains User 🕐 Mis à jour 2024-12-27 📅 Créé 2023-05-15
36
lucidrains/mmdit

Implémentation d'une seule couche du MMDiT, proposé dans Stable Diffusion 3, en Pytorch

lucidrains
⭐ 564 Python 👤 lucidrains User 🕐 Mis à jour 2026-01-18 📅 Créé 2024-05-04
37
lucidrains/iTransformer

Implémentation non officielle de iTransformer - Prévision de séries temporelles SOTA utilisant des réseaux d'attention, de Tsinghua / Ant group

lucidrains
⭐ 535 Python 👤 lucidrains User 🕐 Mis à jour 2025-06-12 📅 Créé 2023-10-11
38
changzy00/pytorch-attention

🦖Implémentation Pytorch des mécanismes d'attention populaires, des Vision Transformers, des modèles de type MLP et des CNN.🔥🔥🔥

changzy00
⭐ 530 Python 👤 changzy00 User 🕐 Mis à jour 2024-01-11 📅 Créé 2023-05-26
39
lucidrains/local-attention

Une implémentation de l'attention locale fenêtrée pour la modélisation du langage

lucidrains
⭐ 502 Python 👤 lucidrains User 🕐 Mis à jour 2025-07-16 📅 Créé 2020-07-05

Foire aux questions

1

Quel est le dépôt #attention-mechanisms le plus populaire sur GitHub ?

Le projet #attention-mechanisms open source le mieux classé sur GitHub est lucidrains/PaLM-rlhf-pytorch, avec 7,858 étoiles. Implémentation de RLHF (Reinforcement Learning with Human Feedback) par-dessus l'architecture PaLM. Essentiellement ChatGPT mais avec PaLM

2

Quels langages de programmation sont les plus utilisés dans les dépôts #attention-mechanisms ?

Parmi les projets #attention-mechanisms les mieux classés sur GitHub, les langages de programmation les plus courants sont Python, Jupyter Notebook, TypeScript.

3

Comment le classement des dépôts #attention-mechanisms est-il calculé ?

Nous suivons 39 dépôts open source actifs associés à #attention-mechanisms (500+ étoiles), totalisant 77,773 étoiles, avec une moyenne de 1,994 étoiles par dépôt. Les classements sont mis à jour quotidiennement à partir de l’API GitHub.