#transformer-architecture Репозитории
Всего репозиториев: 147
PixArt-Σ: Обучение от слабого к сильному Diffusion Transformer для генерации изображений по тексту в разрешении 4K
Официальный репозиторий Qwen-Audio (通义千问-Audio) chat & предварительно обученной большой аудиоязыковой модели, предложенной Alibaba Cloud.
Информационный центр для нашего проекта по обучению максимально больших исторических LLM.
Этот репозиторий содержит вопросы для собеседования по LLM (большая языковая модель), задаваемые в ведущих компаниях, таких как Google, Nvidia, Meta, Microsoft и компаниях из списка Fortune 500.
MobileLLM Оптимизация языковых моделей с менее чем миллиардом параметров для использования на устройствах. В ICML 2024.
Система потокового TTS для длинных текстов для генерации многоголосных диалогов
Текущие исследования по обучению масштабируемых языковых моделей Transformer, включая: BERT и GPT-2
Исходный код и набор данных для статьи ACL 2019 "ERNIE: Enhanced Language Representation with Informative Entities"
(CVPR 2025) От медленных двунаправленных к быстрым авторегрессионным диффузионным моделям видео
[CVPR 2025 Highlight] Реконструкция плотных сцен в реальном времени с помощью SLAM3R
Минимальные и аннотированные реализации ключевых идей современных исследований в области глубокого обучения.
[CVPR 2023] Академическая альтернатива сети occupancy от Tesla для автономного вождения.
ProtTrans предоставляет передовые предобученные языковые модели для белков. ProtTrans обучался на тысячах GPU от Summit и сотнях Google TPU с использованием моделей Transformers.
📰 Обязательные к прочтению статьи и блоги по спекулятивному декодированию ⚡️
Официальная реализация PyTorch "SiT: Исследование потоковых и диффузионных генеративных моделей с масштабируемыми интерполяционными трансформерами"
Фреймворк последовательность-к-последовательности с акцентом на нейронный машинный перевод на основе PyTorch
Отличные статьи по многокамерному 3D-детектированию и сегментации объектов в виде с высоты птичьего полета, такие как DETR3D, BEVDet, BEVFormer, BEVDepth, UniAD
Lumina-mGPT 2.0: Автономное авторегрессионное моделирование изображений
Говорят, что Илья Суцкевер дал Джону Кармаку этот список для чтения из примерно 30 исследовательских работ по глубокому обучению.
Разбор исходного кода легковесной большой языковой модели MiniMind, включающий полные процессы, такие как токенизатор, RoPE, MoE, KV Cache, предварительное обучение, SFT, LoRA, DPO.
Публичный репозиторий статьи NeurIPS 2023 "Unlimiformer: Дальние Трансформеры с Вводом Неограниченной Длины"
Flash Attention примерно в 100 строках CUDA (только прямой проход)
🐳 Эффективные реализации Triton для "Native Sparse Attention: Hardware-Aligned and Natively Trainable Sparse Attention"
Официальная реализация [NeurIPS2025 Oral] «Вентилируемое внимание (Gated Attention) для больших языковых моделей: нелинейность, разреженность и отсутствие поглотителя внимания (Attention-Sink-Free)»
Изучение больших языковых моделей (LLM) (Изучение больших языковых моделей)
Модель языковой диффузии на уровне символов, обученная на Tiny Shakespeare
Код вывода для статьи «Spirit-LM Interleaved Spoken and Written Language Model».