Git Stars Git Stars

#transformer-architecture Репозитории

147
Всего репозиториев
594,368
Всего звезд
4,043
Среднее количество звезд на репозиторий
Языки программирования: Python Jupyter Notebook Go HTML Cuda TypeScript

Всего репозиториев: 147

51
PixArt-alpha/PixArt-sigma

PixArt-Σ: Обучение от слабого к сильному Diffusion Transformer для генерации изображений по тексту в разрешении 4K

PixArt-alpha
⭐ 1,884 Python 👤 PixArt-alpha Organization 🕐 Обновлено 2024-10-31 📅 Создано 2024-02-29
52
QwenLM/Qwen-Audio

Официальный репозиторий Qwen-Audio (通义千问-Audio) chat & предварительно обученной большой аудиоязыковой модели, предложенной Alibaba Cloud.

QwenLM
⭐ 1,857 Python 👤 QwenLM Organization 🕐 Обновлено 2024-07-05 📅 Создано 2023-11-07
53
nlpodyssey/spago

Автономная библиотека машинного обучения и обработки естественного языка на Go

nlpodyssey
⭐ 1,850 Go 👤 nlpodyssey Organization 🕐 Обновлено 2025-04-01 📅 Создано 2020-01-05
54
DGoettlich/history-llms

Информационный центр для нашего проекта по обучению максимально больших исторических LLM.

DGoettlich
⭐ 1,808 👤 DGoettlich User 🕐 Обновлено 2025-12-22 📅 Создано 2025-12-14
55
llmgenai/LLMInterviewQuestions

Этот репозиторий содержит вопросы для собеседования по LLM (большая языковая модель), задаваемые в ведущих компаниях, таких как Google, Nvidia, Meta, Microsoft и компаниях из списка Fortune 500.

llmgenai
⭐ 1,781 👤 llmgenai User 🕐 Обновлено 2025-02-12 📅 Создано 2024-12-26
59
baaivision/Emu3.5

Нативные мультимодальные модели - это познающие мир

baaivision
⭐ 1,567 Python 👤 baaivision Organization 🕐 Обновлено 2025-12-30 📅 Создано 2025-10-29
60
ZeyueT/AudioX

[ICLR 2026] Репозиторий AudioX

ZeyueT
⭐ 1,559 Python 👤 ZeyueT User 🕐 Обновлено 2026-03-10 📅 Создано 2025-03-13
⭐ 1,503 Python 👤 Stability-AI Organization 🕐 Обновлено 2025-01-08 📅 Создано 2024-10-09
63
facebookresearch/MobileLLM

MobileLLM Оптимизация языковых моделей с менее чем миллиардом параметров для использования на устройствах. В ICML 2024.

facebookresearch
⭐ 1,471 Python 👤 facebookresearch Organization 🕐 Обновлено 2026-04-30 📅 Создано 2024-07-09
64
FireRedTeam/FireRedTTS2

Система потокового TTS для длинных текстов для генерации многоголосных диалогов

FireRedTeam
⭐ 1,433 Python 👤 FireRedTeam Organization 🕐 Обновлено 2025-10-26 📅 Создано 2025-09-02
65
bigscience-workshop/Megatron-DeepSpeed

Текущие исследования по обучению масштабируемых языковых моделей Transformer, включая: BERT и GPT-2

bigscience-workshop
⭐ 1,426 Python 👤 bigscience-workshop Organization 🕐 Обновлено 2024-03-20 📅 Создано 2021-07-02
67
thunlp/ERNIE

Исходный код и набор данных для статьи ACL 2019 "ERNIE: Enhanced Language Representation with Informative Entities"

thunlp
⭐ 1,418 Python 👤 thunlp Organization 🕐 Обновлено 2024-01-10 📅 Создано 2019-05-17
68
tianweiy/CausVid

(CVPR 2025) От медленных двунаправленных к быстрым авторегрессионным диффузионным моделям видео

tianweiy
⭐ 1,414 Python 👤 tianweiy User 🕐 Обновлено 2025-08-07 📅 Создано 2025-03-14
69
PKU-VCL-3DV/SLAM3R

[CVPR 2025 Highlight] Реконструкция плотных сцен в реальном времени с помощью SLAM3R

PKU-VCL-3DV
⭐ 1,378 Python 👤 PKU-VCL-3DV Organization 🕐 Обновлено 2025-10-18 📅 Создано 2024-12-11
70
tanishqkumar/beyond-nanogpt

Минимальные и аннотированные реализации ключевых идей современных исследований в области глубокого обучения.

tanishqkumar
⭐ 1,361 Python 👤 tanishqkumar User 🕐 Обновлено 2026-01-29 📅 Создано 2025-04-16
71
wzzheng/TPVFormer

[CVPR 2023] Академическая альтернатива сети occupancy от Tesla для автономного вождения.

wzzheng
⭐ 1,314 Python 👤 wzzheng User 🕐 Обновлено 2024-09-07 📅 Создано 2022-11-19
72
agemagician/ProtTrans

ProtTrans предоставляет передовые предобученные языковые модели для белков. ProtTrans обучался на тысячах GPU от Summit и сотнях Google TPU с использованием моделей Transformers.

agemagician
⭐ 1,310 Jupyter Notebook 👤 agemagician User 🕐 Обновлено 2025-05-22 📅 Создано 2020-05-11
73
hemingkx/SpeculativeDecodingPapers

📰 Обязательные к прочтению статьи и блоги по спекулятивному декодированию ⚡️

hemingkx
⭐ 1,309 👤 hemingkx User 🕐 Обновлено 2026-06-27 📅 Создано 2023-09-20
74
glouppe/info8010-deep-learning

Лекции по INFO8010 Deep Learning, ULiège

glouppe
⭐ 1,294 Jupyter Notebook 👤 glouppe User 🕐 Обновлено 2026-07-13 📅 Создано 2018-03-14
75
Ma-Lab-Berkeley/CRATE

Код для CRATE (Coding RAte reduction TransformEr).

Ma-Lab-Berkeley
⭐ 1,261 Python 👤 Ma-Lab-Berkeley Organization 🕐 Обновлено 2024-10-23 📅 Создано 2023-05-29
76
ga642381/speech-trident

Потрясающие речевые/аудио LLM, обучение представлению и кодеки

ga642381
⭐ 1,249 👤 ga642381 User 🕐 Обновлено 2026-07-10 📅 Создано 2024-04-08
77
willisma/SiT

Официальная реализация PyTorch "SiT: Исследование потоковых и диффузионных генеративных моделей с масштабируемыми интерполяционными трансформерами"

willisma
⭐ 1,228 Python 👤 willisma User 🕐 Обновлено 2025-12-22 📅 Создано 2023-11-28
78
awslabs/sockeye

Фреймворк последовательность-к-последовательности с акцентом на нейронный машинный перевод на основе PyTorch

awslabs
⭐ 1,217 Python 👤 awslabs Organization 🕐 Обновлено 2024-10-24 📅 Создано 2017-06-08
80
gpu-mode/awesomeMLSys

Список адаптации ML-систем

gpu-mode
⭐ 1,154 👤 gpu-mode Organization 🕐 Обновлено 2026-02-19 📅 Создано 2024-05-06
82
HITsz-TMG/Uni-MoE

Uni-MoE: Семейство больших мультимодальных моделей Lychee.

HITsz-TMG
⭐ 1,120 Python 👤 HITsz-TMG Organization 🕐 Обновлено 2026-08-06 📅 Создано 2024-03-04
83
XiaomiMiMo/MiMo-Audio

MiMo-Audio: Аудиоязыковые модели являются маловыборочными обучающимися

XiaomiMiMo
⭐ 1,095 Python 👤 XiaomiMiMo Organization 🕐 Обновлено 2026-10-29 📅 Создано 2025-09-19
84
chaytonmin/Awesome-BEV-Perception-Multi-Cameras

Отличные статьи по многокамерному 3D-детектированию и сегментации объектов в виде с высоты птичьего полета, такие как DETR3D, BEVDet, BEVFormer, BEVDepth, UniAD

chaytonmin
⭐ 1,088 👤 chaytonmin User 🕐 Обновлено 2024-04-26 📅 Создано 2022-04-24
85
Alpha-VLLM/Lumina-mGPT-2.0

Lumina-mGPT 2.0: Автономное авторегрессионное моделирование изображений

Alpha-VLLM
⭐ 1,081 Python 👤 Alpha-VLLM Organization 🕐 Обновлено 2025-11-03 📅 Создано 2025-04-03
86
dzyim/ilya-sutskever-recommended-reading

Говорят, что Илья Суцкевер дал Джону Кармаку этот список для чтения из примерно 30 исследовательских работ по глубокому обучению.

dzyim
⭐ 1,080 👤 dzyim User 🕐 Обновлено 2024-06-04 📅 Создано 2024-05-14
87
gangweix/pixel-perfect-depth

[TPAMI 2026 и NeurIPS 2025] Пиксельно точная глубина

gangweix
⭐ 1,076 Python 👤 gangweix User 🕐 Обновлено 2026-02-13 📅 Создано 2025-05-26
88
hans0809/MiniMind-in-Depth

Разбор исходного кода легковесной большой языковой модели MiniMind, включающий полные процессы, такие как токенизатор, RoPE, MoE, KV Cache, предварительное обучение, SFT, LoRA, DPO.

hans0809
⭐ 1,072 👤 hans0809 User 🕐 Обновлено 2025-06-16 📅 Создано 2025-06-16
89
OpenGVLab/SAM-Med2D

Официальная реализация SAM-Med2D

OpenGVLab
⭐ 1,071 Jupyter Notebook 👤 OpenGVLab Organization 🕐 Обновлено 2024-06-18 📅 Создано 2023-08-26
90
abertsch72/unlimiformer

Публичный репозиторий статьи NeurIPS 2023 "Unlimiformer: Дальние Трансформеры с Вводом Неограниченной Длины"

abertsch72
⭐ 1,063 Python 👤 abertsch72 User 🕐 Обновлено 2024-03-07 📅 Создано 2023-05-03
91
tspeterkim/flash-attention-minimal

Flash Attention примерно в 100 строках CUDA (только прямой проход)

tspeterkim
⭐ 1,036 Cuda 👤 tspeterkim User 🕐 Обновлено 2024-12-30 📅 Создано 2024-03-07
92
fla-org/native-sparse-attention

🐳 Эффективные реализации Triton для "Native Sparse Attention: Hardware-Aligned and Natively Trainable Sparse Attention"

fla-org
⭐ 1,030 Python 👤 fla-org Organization 🕐 Обновлено 2026-02-05 📅 Создано 2025-02-21
93
Ligo-Biosciences/AlphaFold3

Реализация AlphaFold3 с открытым исходным кодом

Ligo-Biosciences
⭐ 1,024 Python 👤 Ligo-Biosciences Organization 🕐 Обновлено 2024-10-07 📅 Создано 2023-11-11
94
qiuzh20/gated_attention

Официальная реализация [NeurIPS2025 Oral] «Вентилируемое внимание (Gated Attention) для больших языковых моделей: нелинейность, разреженность и отсутствие поглотителя внимания (Attention-Sink-Free)»

qiuzh20
⭐ 994 Jupyter Notebook 👤 qiuzh20 User 🕐 Обновлено 2025-12-20 📅 Создано 2025-05-09
95
likejazz/llama3.np

llama3.np — это чистая реализация модели Llama 3 на NumPy.

likejazz
⭐ 991 Python 👤 likejazz User 🕐 Обновлено 2025-04-27 📅 Создано 2024-05-13
96
wzzheng/StreamVGGT

[ICLR 2026] Потоковый 4D Визуальный Геометрический Трансформер

wzzheng
⭐ 988 Python 👤 wzzheng User 🕐 Обновлено 2025-10-27 📅 Создано 2025-07-14
97
myshell-ai/JetMoE

Достижение производительности LLaMA2 за 0,1 млн долларов

myshell-ai
⭐ 988 Python 👤 myshell-ai Organization 🕐 Обновлено 2024-07-23 📅 Создано 2024-04-02
98
kebijuelun/Awesome-LLM-Learning

Изучение больших языковых моделей (LLM) (Изучение больших языковых моделей)

kebijuelun
⭐ 984 TypeScript 👤 kebijuelun User 🕐 Обновлено 2026-01-05 📅 Создано 2023-08-06
99
nathanrs/tiny-diffusion

Модель языковой диффузии на уровне символов, обученная на Tiny Shakespeare

nathanrs
⭐ 935 Python 👤 nathanrs User 🕐 Обновлено 2026-01-16 📅 Создано 2025-10-21
100
facebookresearch/spiritlm

Код вывода для статьи «Spirit-LM Interleaved Spoken and Written Language Model».

facebookresearch
⭐ 926 Python 👤 facebookresearch Organization 🕐 Обновлено 2024-10-28 📅 Создано 2024-09-06