#transformer-architecture Repository
147 repository in totale
PixArt-ฮฃ: Addestramento da Debole a Forte del Diffusion Transformer per la Generazione 4K Text-to-Image
Il repository ufficiale di Qwen-Audio (้ไนๅ้ฎ-Audio) chat & modello linguistico audio di grandi dimensioni pre-addestrato proposto da Alibaba Cloud.
Centro informazioni per il nostro progetto di addestramento dei piรน grandi LLM storici possibili.
Questo repository contiene domande di intervista LLM (Large Language Model) poste in aziende leader come Google, Nvidia, Meta, Microsoft e aziende Fortune 500.
MobileLLM Ottimizzazione di modelli linguistici con parametri inferiori al miliardo per casi d'uso su dispositivo. In ICML 2024.
Sistema TTS di streaming a lunga durata per la generazione di dialoghi multi-speaker
La ricerca in corso addestra modelli linguistici Transformer su larga scala, tra cui: BERT e GPT-2
Codice sorgente e dataset per il paper ACL 2019 "ERNIE: Enhanced Language Representation with Informative Entities"
(CVPR 2025) Da lenti modelli di diffusione video bidirezionali a veloci autoregressivi
Implementazioni minimali e annotate delle idee chiave della moderna ricerca sul deep learning.
[CVPR 2023] Un'alternativa accademica alla rete di occupazione di Tesla per la guida autonoma.
ProtTrans fornisce modelli linguistici pre-addestrati all'avanguardia per le proteine. ProtTrans รจ stato addestrato su migliaia di GPU da Summit e centinaia di TPU Google utilizzando modelli Transformer.
๐ฐ Articoli e blog imperdibili su Speculative Decoding โก๏ธ
Fantastici LLM per voce/audio, apprendimento della rappresentazione e modelli codec
Implementazione ufficiale di PyTorch di "SiT: Esplorazione di modelli generativi basati su flusso e diffusione con trasformatori interpolanti scalabili"
Framework sequence-to-sequence con focus sulla Traduzione Automatica Neurale basato su PyTorch
Articoli eccezionali sul rilevamento e la segmentazione di oggetti 3D Multi-Camera in vista a volo d'uccello, come DETR3D, BEVDet, BEVFormer, BEVDepth, UniAD
Si dice che Ilya Sutskever abbia dato a John Carmack questa lista di lettura di circa 30 articoli di ricerca sull'apprendimento profondo.
Analisi del codice sorgente del modello linguistico di grandi dimensioni leggero MiniMind, che copre processi completi come tokenizer, RoPE, MoE, KV Cache, pre-addestramento, SFT, LoRA, DPO.
Repository pubblico per l'articolo NeurIPS 2023 "Unlimiformer: Long-Range Transformers with Unlimited Length Input"
๐ณ Implementazioni Triton efficienti per "Native Sparse Attention: Hardware-Aligned and Natively Trainable Sparse Attention"
L'implementazione ufficiale per [NeurIPS2025 Oral] Gated Attention per Modelli Linguistici di Grandi Dimensioni: Non-linearitร , Sparsitร e Senza Attention-Sink
Apprendimento di modelli linguistici di grandi dimensioni (LLM) (Apprendimento di modelli linguistici di grandi dimensioni)
Un modello di diffusione del linguaggio a livello di carattere addestrato su Tiny Shakespeare
Codice di inferenza per l'articolo "Spirit-LM Interleaved Spoken and Written Language Model".