#attention-mechanisms Dépôts
Découvrez 39 dépôts GitHub open source actifs associés à #attention-mechanisms, cumulant 77,773 étoiles au total (soit une moyenne de 1,994 étoiles par projet). Le projet en tête de ce thème est lucidrains/PaLM-rlhf-pytorch, avec 7,858 étoiles.
39 dépôts au total
Implémentation de RLHF (Reinforcement Learning with Human Feedback) par-dessus l'architecture PaLM. Essentiellement ChatGPT mais avec PaLM
[ICLR 2024] Modèles de Langage Efficaces en Streaming avec des Puits d'Attention
Une liste finalement complète de papiers sur Vision Transformer/Attention, incluant papiers, codes et sites Web associés
Deformable DETR : Transformeurs déformables pour la détection d'objets de bout en bout.
Résumé des articles liés à l'attention visuelle. Le code associé sera progressivement publié sur Jittor.
Implémentation d'AudioLM, une approche de modélisation du langage SOTA pour la génération audio de Google Research, dans Pytorch
Implémentation PyTorch de Self-Attention Generative Adversarial Networks (SAGAN)
Implémentation de Toolformer, Language Models That Can Use Tools, par MetaAI
Implémentation de Make-A-Video, le nouveau générateur texte-vidéo SOTA de Meta AI, en Pytorch
Réseau Convolutif de Graphes Temporel pour la Prévision du Flux de Trafic Urbain Méthode
[CVPR 2025] Apprentissage de champs de flux dans l'attention pour la génération d'images de personnes contrôlable
Les modules plug-and-play les plus complets pour l'ensemble du réseau en 2025, partagés gratuitement ! CVPR2025, AAAI2025, ICLR2025, TNNLS2025, arXiv2025...... Comprend tous les domaines de l'intelligence artificielle (apprentissage automatique, apprentissage profond, etc.), adaptés à la classification d'images, à la détection d'objets, à la segmentation d'instances, à la segmentation sémantique, à la segmentation panoptique, à l'estimation de pose, à la segmentation d'images médicales, à la segmentation d'objets vidéo, au détourage d'images, à l'édition d'images, au suivi d'objets uniques, au suivi d'objets multiples, à la ré-identification de personnes, RGBT, débruitage d'images, suppression de la pluie, suppression du brouillard, suppression des ombres, suppression du flou, super-résolution, suppression des reflets, suppression des motifs moirés, restauration d'images, réparation d'images, restauration d'images hyperspectrales, fusion d'images, colorisation d'images, imagerie à grande gamme dynamique, compression vidéo et image, nuages de points 3D, détection d'objets 3D, segmentation sémantique 3D, estimation de pose 3D, etc., ainsi qu'à d'autres tâches liées à l'IA telles que le traitement du langage naturel, les grands modèles linguistiques, le multimodal, etc. Mise à jour continue......
CVPR2023 - Activation de plus de pixels dans le transformeur de super-résolution d'images TPAMI - HAT : Transformeur d'attention hybride pour la restauration d'images
LLM Transparency Tool (LLM-TT), une boîte à outils interactive open-source pour analyser le fonctionnement interne des modèles linguistiques basés sur Transformer. *Découvrez la démo sur* https://huggingface.co/spaces/facebook/llm-transparency-tool-demo
Modèles Fondamentaux Multimodaux de Pointe pour la Compréhension d'Images et de Vidéos
Implémentation de Band Split Roformer, un réseau d'attention SOTA pour la séparation de sources musicales issu des ByteDance AI Labs
[ICLR 2025] Samba : Modèles hybrides simples à espace d'états pour une modélisation de langage à contexte illimité et efficace
Une liste de papiers sur des travaux récents concernant la compression de jetons pour Vit et VLM
Implémentation de Muse : Génération de texte en image via des transformeurs génératifs masqués en Pytorch
Implémentation de MeshGPT, génération de maillage SOTA utilisant l'Attention, en Pytorch
Implémentation de Phenaki Video, qui utilise Mask GIT pour produire des vidéos guidées par texte d'une durée maximale de 2 minutes en Pytorch
Implémentation de l'attention plug-and-play de "LongNet : Scalabilité des transformeurs à 1 milliard de tokens"
PyTorch Dual-Attention LSTM-Autoencodeur pour séries temporelles multivariées
Implémentation de MEGABYTE, Prédiction de séquences d'un million d'octets avec des transformeurs multi-échelles, dans Pytorch
Implémentation d'une seule couche du MMDiT, proposé dans Stable Diffusion 3, en Pytorch
Implémentation non officielle de iTransformer - Prévision de séries temporelles SOTA utilisant des réseaux d'attention, de Tsinghua / Ant group
🦖Implémentation Pytorch des mécanismes d'attention populaires, des Vision Transformers, des modèles de type MLP et des CNN.🔥🔥🔥
Une implémentation de l'attention locale fenêtrée pour la modélisation du langage
Foire aux questions
Quel est le dépôt #attention-mechanisms le plus populaire sur GitHub ?
Le projet #attention-mechanisms open source le mieux classé sur GitHub est lucidrains/PaLM-rlhf-pytorch, avec 7,858 étoiles. Implémentation de RLHF (Reinforcement Learning with Human Feedback) par-dessus l'architecture PaLM. Essentiellement ChatGPT mais avec PaLM
Quels langages de programmation sont les plus utilisés dans les dépôts #attention-mechanisms ?
Parmi les projets #attention-mechanisms les mieux classés sur GitHub, les langages de programmation les plus courants sont Python, Jupyter Notebook, TypeScript.
Comment le classement des dépôts #attention-mechanisms est-il calculé ?
Nous suivons 39 dépôts open source actifs associés à #attention-mechanisms (500+ étoiles), totalisant 77,773 étoiles, avec une moyenne de 1,994 étoiles par dépôt. Les classements sont mis à jour quotidiennement à partir de l’API GitHub.