#transformer-architecture Dépôts
147 dépôts au total
PixArt-Σ : Entraînement de faible à fort du Diffusion Transformer pour la génération 4K texte-vers-image
Le référentiel officiel de Qwen-Audio (通义千问-Audio) chat & modèle linguistique audio pré-entraîné de grande taille proposé par Alibaba Cloud.
Bibliothèque autonome d'apprentissage automatique et de traitement du langage naturel en Go
Centre d'information pour notre projet de formation des plus grands LLM historiques possibles.
Ce dépôt contient des questions d'entretien LLM (modèle linguistique large) posées dans des entreprises de premier plan comme Google, Nvidia, Meta, Microsoft et des entreprises du Fortune 500.
MobileLLM Optimisation des modèles linguistiques de moins d'un milliard de paramètres pour les cas d'utilisation sur appareil. À l'ICML 2024.
Système TTS de streaming long format pour la génération de dialogues multi-locuteurs
La recherche en cours forme des modèles linguistiques Transformer à grande échelle, notamment : BERT et GPT-2
Code source et jeu de données pour l'article ACL 2019 "ERNIE: Enhanced Language Representation with Informative Entities"
(CVPR 2025) Des modèles de diffusion vidéo lents et bidirectionnels aux modèles rapides et autorégressifs
Implémentations minimalistes et annotées des idées clés de la recherche moderne en apprentissage profond.
[CVPR 2023] Une alternative académique au réseau d'occupation de Tesla pour la conduite autonome.
ProtTrans fournit des modèles de langage pré-entraînés de pointe pour les protéines. ProtTrans a été entraîné sur des milliers de GPU de Summit et des centaines de TPU Google en utilisant des modèles Transformers.
📰 Articles et blogs incontournables sur le décodage spéculatif ⚡️
Impressionnants LLM pour la parole/l'audio, l'apprentissage de représentation et les modèles de codec
Implémentation officielle PyTorch de "SiT : Exploration des modèles génératifs basés sur le flux et la diffusion avec des transformeurs interpolants évolutifs"
Cadre sequence-to-sequence avec un accent sur la traduction automatique neuronale basé sur PyTorch
MiMo-Audio : Les modèles de langage audio sont des apprenants à quelques exemples
Articles impressionnants sur la détection et la segmentation d'objets 3D Multi-Caméras en vue à la première personne, tels que DETR3D, BEVDet, BEVFormer, BEVDepth, UniAD
On raconte qu'Ilya Sutskever a donné à John Carmack cette liste de lecture d'environ 30 articles de recherche sur l'apprentissage profond.
Analyse du code source du modèle de langage léger MiniMind, incluant les processus complets tels que tokenizer, RoPE, MoE, KV Cache, pré-entraînement, SFT, LoRA, DPO.
Dépôt public pour l'article NeurIPS 2023 "Unlimiformer : Transformers Longue Portée avec Entrée de Longueur Illimitée"
Flash Attention en ~100 lignes de CUDA (passage avant uniquement)
🐳 Implémentations Triton efficaces pour "Native Sparse Attention: Hardware-Aligned and Natively Trainable Sparse Attention"
L'implémentation officielle pour [NeurIPS2025 Oral] Gated Attention pour les Grands Modèles de Langage : Non-linéarité, Sparsité et Sans Attention-Sink (Attention-Sink-Free)
Apprentissage des grands modèles linguistiques (LLM) (Apprentissage des grands modèles linguistiques)
Un modèle de diffusion linguistique au niveau des caractères entraîné sur Tiny Shakespeare
Code d'inférence pour l'article "Spirit-LM Interleaved Spoken and Written Language Model".