#attention Dépôts
Découvrez 29 dépôts GitHub open source actifs associés à #attention, cumulant 203,649 étoiles au total (soit une moyenne de 7,022 étoiles par projet). Le projet en tête de ce thème est labmlai/annotated_deep_learning_paper_implementations, avec 67,780 étoiles.
29 dépôts au total
🧑🏫 60+ implémentations/tutoriels d'articles de deep learning avec des notes côte à côte 📝; y compris les transformers (original, xl, switch, feedback, vit, ...), les optimiseurs (adam, adabelief, sophia, ...), les gans (cyclegan, stylegan2, ...), 🎮 l'apprentissage par renforcement (ppo, dqn), les capsnet, la distillation, ... 🧠
SGLang est un framework de service haute performance pour les grands modèles linguistiques et les modèles multimodaux.
Une reconstruction théorique de l'architecture du Mythe de Claude, construite à partir de premiers principes en utilisant la littérature de recherche disponible.
Tutoriel sur le Traitement du Langage Naturel pour les Chercheurs en Apprentissage Profond
🍀 Implémentation Pytorch de divers mécanismes d'attention, MLP, re-paramétrage, convolution, qui sont utiles pour mieux comprendre les articles.⭐⭐⭐
Une implémentation PyTorch du modèle Transformer dans « Attention is All You Need ».
Tutoriels sur l'implémentation de quelques modèles sequence-to-sequence (seq2seq) avec PyTorch et TorchText.
Ce dépôt contient principalement des notes de lecture d’articles de conférences de premier plan liés à l’ingénierie des algorithmes de TAL.
[ICLR2025, ICML2025, NeurIPS2025 Spotlight] L'attention quantifiée (Quantized Attention) atteint une accélération de 2 à 5 fois par rapport à FlashAttention, sans perte de métriques de bout en bout sur les modèles de langage, d'image et de vidéo.
Scenic : Une bibliothèque Jax pour la recherche en vision par ordinateur et au-delà
Ceci est un dépôt Pytorch de YOLOv4, attentive YOLOv4 et mobilenet YOLOv4 avec PASCAL VOC et COCO
Implémentation Pytorch de Transfusion, "Prédire le prochain token et diffuser des images avec un seul modèle multimodal" par MetaAI
[ICML2025] SpargeAttention : Une attention éparse sans entraînement qui accélère l'inférence de n'importe quel modèle.
Réplication de projets CV simples incluant attention, classification, détection, détection de points clés, etc.
Construisez votre propre moteur d'inférence LLM haute performance en C++ et CUDA - une version plus petite de vLLM
cuDNN Frontend est le point d'entrée moderne et open source de NVIDIA vers la bibliothèque cuDNN et une collection croissante de noyaux open source hautes performances.
Une bibliothèque PyTorch pour tout ce qui concerne l'apprentissage par renforcement (RL) pour l'optimisation combinatoire (CO)
Implémentation du schéma d'attention éparse proposé par l'équipe Deepseek dans leur article "Native Sparse Attention"
Classification de texte multi-étiquettes, classification multi-étiquettes, classification de texte, multi-étiquettes, classifieur, classification de texte, BERT, seq2seq, attention, classification multi-étiquettes
Implémentation de l'attention plug-and-play de "LongNet : Scalabilité des transformeurs à 1 milliard de tokens"
EEG Transformer 2.0. i. Transformeur Convolutif pour le décodage de l'EEG. ii. Nouvelle visualisation - Topographie d'activation de classe.
Réalisez l'étape d'inférence de llama3 étape par étape, saisissez les concepts clés, maîtrisez la dérivation du processus, implémentez le code.
Keras beit,caformer,CMT,CoAtNet,convnext,davit,dino,efficientdet,edgenext,efficientformer,efficientnet,eva,fasternet,fastervit,fastvit,flexivit,gcvit,ghostnet,gpvit,hornet,hiera,iformer,inceptionnext,lcnet,levit,maxvit,mobilevit,moganet,nat,nfnets,pvt,swin,tinynet,tinyvit,uniformer,volo,vanillanet,yolor,yolov7,yolov8,yolox,gpt2,llama2, alias kecam
L'implémentation officielle PyTorch du papier "SAITS: Imputation basée sur l'auto-attention pour les séries temporelles". Un modèle de réseau de neurones en apprentissage profond rapide et de l'état de l'art (SOTA) pour l'imputation efficace des séries temporelles (imputer des séries temporelles multivariées incomplètes contenant des données/valeurs manquantes NaN avec l'apprentissage automatique). https://arxiv.org/abs/2202.08516
Concevez des architectures de modèles adaptées au matériel et migrez les LLM existants avec une perte de performances minimale
Foire aux questions
Quel est le dépôt #attention le plus populaire sur GitHub ?
Le projet #attention open source le mieux classé sur GitHub est labmlai/annotated_deep_learning_paper_implementations, avec 67,780 étoiles. 🧑🏫 60+ implémentations/tutoriels d'articles de deep learning avec des notes côte à côte 📝; y compris les transformers (original, xl, switch, feedback, vit, ...), les optimiseurs (adam, adabelief, sophia, ...), les gans (cyclegan, stylegan2, ...), 🎮 l'apprentissage par renforcement (ppo, dqn), les capsnet, la distillation, ... 🧠
Quels langages de programmation sont les plus utilisés dans les dépôts #attention ?
Parmi les projets #attention les mieux classés sur GitHub, les langages de programmation les plus courants sont Python, Jupyter Notebook, Cuda, C++.
Comment le classement des dépôts #attention est-il calculé ?
Nous suivons 29 dépôts open source actifs associés à #attention (500+ étoiles), totalisant 203,649 étoiles, avec une moyenne de 7,022 étoiles par dépôt. Les classements sont mis à jour quotidiennement à partir de l’API GitHub.