#attention-mechanism Dépôts
Découvrez 50 dépôts GitHub open source actifs associés à #attention-mechanism, cumulant 274,514 étoiles au total (soit une moyenne de 5,490 étoiles par projet). Le projet en tête de ce thème est rasbt/LLMs-from-scratch, avec 108,745 étoiles.
50 dépôts au total
Implémentez à partir de zéro un LLM de type ChatGPT dans PyTorch, étape par étape
Implémentation du Vision Transformer, un moyen simple d'atteindre le SOTA en classification visuelle avec un seul encodeur transformer dans Pytorch
《Réseaux neuronaux et apprentissage profond》 de Qiu Xipeng, deuxième édition et édition de culture générale : livre électronique, sommaire des chapitres, ressources d’apprentissage et errata.
RWKV (prononcé RwaKuv) est un RNN avec d'excellentes performances LLM, qui peut également être entraîné directement comme un transformer GPT (parallélisable). Nous en sommes à RWKV-7 "Goose". Il combine donc le meilleur des RNN et des transformers - d'excellentes performances, un temps linéaire, un espace constant (pas de cache kv), un entraînement rapide, une ctx_len infinie et une intégration de phrases gratuite.
Blocs de construction Transformers hackables et optimisés, prenant en charge une construction composable.
Un transformeur full-attention concis mais complet doté d'un ensemble de fonctionnalités expérimentales prometteuses issues de divers articles
Implémentation / réplication de DALL-E, le Transformer Texte vers Image d'OpenAI, en Pytorch
Une liste finalement complète de papiers sur Vision Transformer/Attention, incluant papiers, codes et sites Web associés
RuVector fournit une prise de décision et une mémoire d’agents haute performance en temps réel, une IA auto-apprenante et une base de données GNN vectorielle développée en Rust.
Construisez un LLM moderne de zéro. Chaque ligne commentée. Expliqué comme à des enfants de cinq ans.
[NeurIPS 2025] YOLOv12: Détecteurs d'objets en temps réel centrés sur l'attention
Reconnaissance vocale automatique multilingue avec horodatages au niveau du mot et confiance
Ceci est le dépôt officiel de "The Hundred-Page Language Models Book" par Andriy Burkov
Apprenez les internes des LLM étape par étape - de la tokenisation à l'attention et à l'optimisation de l'inférence.
Mise en œuvre de SoundStorm, génération audio parallèle efficace de Google Deepmind, en Pytorch
Code PyTorch pour notre article ECCV 2018 "Image Super-Resolution Using Very Deep Residual Channel Attention Networks"
Implémentation de Perceiver, Perception Générale avec Attention Itérative, en Pytorch
Cadre sequence-to-sequence avec un accent sur la traduction automatique neuronale basé sur PyTorch
OpenSTL : Une référence complète pour l'apprentissage prédictif spatio-temporel
Une bibliothèque d'apprentissage profond pour la classification des tâches (signaux) EEG, basée sur TensorFlow.
Une liste sélectionnée de ressources en NLP centrée sur les réseaux Transformer, le mécanisme d'attention, GPT, BERT, ChatGPT, LLMs et l'apprentissage par transfert.
Implémentation de TabTransformer, un réseau d'attention pour les données tabulaires, dans Pytorch
L'implémentation officielle pour [NeurIPS2025 Oral] Gated Attention pour les Grands Modèles de Langage : Non-linéarité, Sparsité et Sans Attention-Sink (Attention-Sink-Free)
Implémentation de l'Apprentissage Profond Multi-Instance Basé sur l'Attention en PyTorch
Transformer basé sur une variante d'attention qui a une complexité linéaire par rapport à la longueur de la séquence
[IJCV] FastComposer : Génération d'images multi-sujets sans réglage avec attention localisée
[ECCV 2020] Apprentissage de caractéristiques enrichies pour la restauration et l'amélioration d'images réelles. Résultats SOTA pour le débruitage d'images, la super-résolution et l'amélioration d'images.
basé sur le projet de haut niveau YOLO (détecter\poser\classer\segmenter\) : inclure YOLOv5\YOLOv7\YOLOv8\ Core, recherche d'amélioration, SwinTransformerV2 et Attention Series. compétences de formation, personnalisation commerciale, déploiement d'ingénierie C
MORAN : Un Réseau d'Attention Rectifié Multi-Objets pour la Reconnaissance de Texte de Scène
[CVPR'26] ObjectClear : Suppression précise d’objets et d’effets avec attention adaptative ciblée
Réalisez l'étape d'inférence de llama3 étape par étape, saisissez les concepts clés, maîtrisez la dérivation du processus, implémentez le code.
Un outil d'analyse visuelle pour explorer les représentations apprises dans les modèles Transformers
[CVPR 2021, Oral] PREDATOR : Enregistrement de nuages de points 3D avec un faible chevauchement.
[ICLR2025 Spotlight🔥] Implémentation officielle de TokenFormer : Repenser le passage à l'échelle des Transformers avec des paramètres de modèle tokenisés
Implémentation d'Enformer, le réseau d'attention de Deepmind pour la prédiction de l'expression génique, en Pytorch
[IGARSS'22]: Un réseau siamois basé sur un transformeur pour la détection de changements
Implémentation de 💍 Ring Attention, par Liu et al. de Berkeley AI, dans Pytorch
Démocratisation de RT-2 « RT-2 : Nouveau modèle traduisant la vision et le langage en action »
L'implémentation officielle PyTorch du papier "SAITS: Imputation basée sur l'auto-attention pour les séries temporelles". Un modèle de réseau de neurones en apprentissage profond rapide et de l'état de l'art (SOTA) pour l'imputation efficace des séries temporelles (imputer des séries temporelles multivariées incomplètes contenant des données/valeurs manquantes NaN avec l'apprentissage automatique). https://arxiv.org/abs/2202.08516
Foire aux questions
Quel est le dépôt #attention-mechanism le plus populaire sur GitHub ?
Le projet #attention-mechanism open source le mieux classé sur GitHub est rasbt/LLMs-from-scratch, avec 108,745 étoiles. Implémentez à partir de zéro un LLM de type ChatGPT dans PyTorch, étape par étape
Quels langages de programmation sont les plus utilisés dans les dépôts #attention-mechanism ?
Parmi les projets #attention-mechanism les mieux classés sur GitHub, les langages de programmation les plus courants sont Python, Jupyter Notebook, Rust, Swift.
Comment le classement des dépôts #attention-mechanism est-il calculé ?
Nous suivons 50 dépôts open source actifs associés à #attention-mechanism (500+ étoiles), totalisant 274,514 étoiles, avec une moyenne de 5,490 étoiles par dépôt. Les classements sont mis à jour quotidiennement à partir de l’API GitHub.