#transformer-architecture Repositories
Insgesamt 147 Repositories
PixArt-Σ: Schwach-zu-Stark-Training des Diffusion Transformers für 4K-Text-zu-Bild-Generierung
Das offizielle Repository von Qwen-Audio (通义千问-Audio) Chat & vortrainiertes großes Audio-Sprachmodell, das von Alibaba Cloud vorgeschlagen wurde.
Eigenständige Machine-Learning- und Natural-Language-Processing-Bibliothek in Go
Informationszentrum für unser Projekt zur Schulung der größtmöglichen historischen LLMs.
Dieses Repository enthält LLM- (Large Language Model) Interviewfragen, die bei Top-Unternehmen wie Google, Nvidia, Meta, Microsoft und Fortune-500-Unternehmen gestellt werden.
MobileLLM Optimierung von Sprachmodellen mit weniger als einer Milliarde Parametern für Anwendungsfälle auf Geräten. In ICML 2024.
Langform-Streaming-TTS-System für die Generierung von Multi-Speaker-Dialogen
Laufende Forschung trainiert Transformer-Sprachmodelle in großem Maßstab, einschließlich: BERT & GPT-2
Quellcode und Datensatz für das ACL-2019-Papier "ERNIE: Enhanced Language Representation with Informative Entities"
(CVPR 2025) Von langsamen bidirektionalen zu schnellen autoregressiven Video-Diffusionsmodellen
[CVPR 2025 Highlight] Echtzeit-Szenenrekonstruktion für dichte Umgebungen mit SLAM3R
Minimale und kommentierte Implementierungen von Schlüsselideen aus der modernen Deep-Learning-Forschung.
[CVPR 2023] Eine akademische Alternative zu Teslas Occupancy Network für autonomes Fahren.
ProtTrans bietet hochmoderne vortrainierte Sprachmodelle für Proteine an. ProtTrans wurde auf Tausenden von GPUs von Summit und Hunderten von Google TPUs unter Verwendung von Transformer-Modellen trainiert.
📰 Lesenswertes: Publikationen und Blogs zu Speculative Decoding ⚡️
Hervorragende Sprach-/Audio-LLMs, Repräsentationslernen und Codec-Modelle
Offizielle PyTorch-Implementierung von "SiT: Erkundung von fluss- und diffusionsbasierten generativen Modellen mit skalierbaren interpolanten Transformatoren"
Sequence-to-Sequence-Framework mit Schwerpunkt auf Neural Machine Translation basierend auf PyTorch
Hervorragende Arbeiten zur Multi-Kamera 3D-Objekterkennung und -segmentierung in der Vogelperspektive, wie DETR3D, BEVDet, BEVFormer, BEVDepth, UniAD
Es wird gezegd, dass Ilya Sutskever John Carmack diese Leseliste mit etwa 30 Forschungsarbeiten zum Thema Deep Learning gegeben hat.
Quellcode-Analyse des leichtgewichtigen großen Sprachmodells MiniMind, einschließlich der vollständigen Abläufe von Tokenizer, RoPE, MoE, KV Cache, Pretraining, SFT, LoRA, DPO.
Öffentliches Repository für das NeurIPS 2023 Paper „Unlimiformer: Long-Range Transformers mit unbegrenzter Eingabelänge“
🐳 Effiziente Triton-Implementierungen für "Native Sparse Attention: Hardware-Aligned and Natively Trainable Sparse Attention"
Die offizielle Implementierung für [NeurIPS2025 Oral] Gated Attention für Große Sprachmodelle: Nichtlinearität, Sparsität und Attention-Sink-Free
Ein zeichenbasiertes Sprachdiffusionsmodell, trainiert auf Tiny Shakespeare
Inferenzcode für das Paper "Spirit-LM Interleaved Spoken and Written Language Model".