Git Stars Git Stars

#transformer-architecture 仓库

147
仓库总数
594,368
总星标数
4,043
平均每个仓库星标数

共 147 个仓库

51
PixArt-alpha/PixArt-sigma

PixArt-Σ:用于 4K 文本到图像生成的扩散 Transformer 的弱到强训练

PixArt-alpha
⭐ 1,884 Python 👤 PixArt-alpha Organization 🕐 已更新 2024-10-31 📅 创建时间 2024-02-29
52
QwenLM/Qwen-Audio

Alibaba Cloud 提出的 Qwen-Audio (通义千问-Audio) 聊天与预训练大型音频语言模型的官方仓库。

QwenLM
⭐ 1,857 Python 👤 QwenLM Organization 🕐 已更新 2024-07-05 📅 创建时间 2023-11-07
53
nlpodyssey/spago

Go语言的自包含机器学习和自然语言处理库

nlpodyssey
⭐ 1,850 Go 👤 nlpodyssey Organization 🕐 已更新 2025-04-01 📅 创建时间 2020-01-05
54
DGoettlich/history-llms

我们训练尽可能大的历史LLM项目的信息中心。

DGoettlich
⭐ 1,808 👤 DGoettlich User 🕐 已更新 2025-12-22 📅 创建时间 2025-12-14
55
llmgenai/LLMInterviewQuestions

该存储库包含在Google、Nvidia、Meta、Microsoft和财富500强公司等顶级公司中提出的LLM(大型语言模型)面试问题。

llmgenai
⭐ 1,781 👤 llmgenai User 🕐 已更新 2025-02-12 📅 创建时间 2024-12-26
59
baaivision/Emu3.5

原生多模态模型是世界学习者

baaivision
⭐ 1,567 Python 👤 baaivision Organization 🕐 已更新 2025-12-30 📅 创建时间 2025-10-29
60
ZeyueT/AudioX

[ICLR 2026] AudioX 仓库

ZeyueT
⭐ 1,559 Python 👤 ZeyueT User 🕐 已更新 2026-03-10 📅 创建时间 2025-03-13
⭐ 1,503 Python 👤 Stability-AI Organization 🕐 已更新 2025-01-08 📅 创建时间 2024-10-09
63
facebookresearch/MobileLLM

MobileLLM 优化百万参数以下的语言模型用于设备端用例。收录于 ICML 2024。

facebookresearch
⭐ 1,471 Python 👤 facebookresearch Organization 🕐 已更新 2026-04-30 📅 创建时间 2024-07-09
64
FireRedTeam/FireRedTTS2

长文本流式语音合成系统,用于多说话人对话生成

FireRedTeam
⭐ 1,433 Python 👤 FireRedTeam Organization 🕐 已更新 2025-10-26 📅 创建时间 2025-09-02
65
bigscience-workshop/Megatron-DeepSpeed

持续研究大规模训练 Transformer 语言模型,包括:BERT 和 GPT-2

bigscience-workshop
⭐ 1,426 Python 👤 bigscience-workshop Organization 🕐 已更新 2024-03-20 📅 创建时间 2021-07-02
67
thunlp/ERNIE

ACL 2019 论文 "ERNIE: Enhanced Language Representation with Informative Entities" 的源代码和数据集

thunlp
⭐ 1,418 Python 👤 thunlp Organization 🕐 已更新 2024-01-10 📅 创建时间 2019-05-17
68
tianweiy/CausVid

(CVPR 2025) 从慢速双向到快速自回归视频扩散模型

tianweiy
⭐ 1,414 Python 👤 tianweiy User 🕐 已更新 2025-08-07 📅 创建时间 2025-03-14
69
PKU-VCL-3DV/SLAM3R

[CVPR 2025 Highlight] 使用 SLAM3R 进行实时稠密场景重建

PKU-VCL-3DV
⭐ 1,378 Python 👤 PKU-VCL-3DV Organization 🕐 已更新 2025-10-18 📅 创建时间 2024-12-11
70
tanishqkumar/beyond-nanogpt

现代深度学习研究的关键思想的最小化和带注释的实现。

tanishqkumar
⭐ 1,361 Python 👤 tanishqkumar User 🕐 已更新 2026-01-29 📅 创建时间 2025-04-16
71
wzzheng/TPVFormer

[CVPR 2023] 自动驾驶领域特斯拉占有网络的一种学术替代方案。

wzzheng
⭐ 1,314 Python 👤 wzzheng User 🕐 已更新 2024-09-07 📅 创建时间 2022-11-19
72
agemagician/ProtTrans

ProtTrans 正在为蛋白质提供最先进的预训练语言模型。 ProtTrans 使用 Transformers 模型在 Summit 的数千个 GPU 和数百个 Google TPU 上进行了训练。

agemagician
⭐ 1,310 Jupyter Notebook 👤 agemagician User 🕐 已更新 2025-05-22 📅 创建时间 2020-05-11
73
hemingkx/SpeculativeDecodingPapers

📰 关于 Speculative Decoding 的必读论文和博客 ⚡️

hemingkx
⭐ 1,309 👤 hemingkx User 🕐 已更新 2026-06-27 📅 创建时间 2023-09-20
75
Ma-Lab-Berkeley/CRATE

CRATE (Coding RAte reduction TransformEr) 代码。

Ma-Lab-Berkeley
⭐ 1,261 Python 👤 Ma-Lab-Berkeley Organization 🕐 已更新 2024-10-23 📅 创建时间 2023-05-29
76
ga642381/speech-trident

出色的语音/音频LLM、表示学习和编解码器模型

ga642381
⭐ 1,249 👤 ga642381 User 🕐 已更新 2026-07-10 📅 创建时间 2024-04-08
77
willisma/SiT

“SiT:探索具有可扩展插值 Transformer 的流和扩散生成模型”的官方 PyTorch 实现

willisma
⭐ 1,228 Python 👤 willisma User 🕐 已更新 2025-12-22 📅 创建时间 2023-11-28
78
awslabs/sockeye

基于 PyTorch 的序列到序列框架,专注于神经机器翻译

awslabs
⭐ 1,217 Python 👤 awslabs Organization 🕐 已更新 2024-10-24 📅 创建时间 2017-06-08
80
gpu-mode/awesomeMLSys

ML系统入职列表

gpu-mode
⭐ 1,154 👤 gpu-mode Organization 🕐 已更新 2026-02-19 📅 创建时间 2024-05-06
82
HITsz-TMG/Uni-MoE

Uni-MoE:荔枝的大型多模态模型系列。

HITsz-TMG
⭐ 1,120 Python 👤 HITsz-TMG Organization 🕐 已更新 2026-08-06 📅 创建时间 2024-03-04
83
XiaomiMiMo/MiMo-Audio

MiMo-Audio:音频语言模型是少样本学习者

XiaomiMiMo
⭐ 1,095 Python 👤 XiaomiMiMo Organization 🕐 已更新 2026-10-29 📅 创建时间 2025-09-19
84
chaytonmin/Awesome-BEV-Perception-Multi-Cameras

关于鸟瞰图多相机3D目标检测和分割的优秀论文,例如DETR3D, BEVDet, BEVFormer, BEVDepth, UniAD

chaytonmin
⭐ 1,088 👤 chaytonmin User 🕐 已更新 2024-04-26 📅 创建时间 2022-04-24
85
Alpha-VLLM/Lumina-mGPT-2.0

Lumina-mGPT 2.0:独立式自回归图像建模

Alpha-VLLM
⭐ 1,081 Python 👤 Alpha-VLLM Organization 🕐 已更新 2025-11-03 📅 创建时间 2025-04-03
86
dzyim/ilya-sutskever-recommended-reading

据说,Ilya Sutskever 将一份包含约 30 篇深度学习研究论文的阅读清单给了 John Carmack。

dzyim
⭐ 1,080 👤 dzyim User 🕐 已更新 2024-06-04 📅 创建时间 2024-05-14
87
gangweix/pixel-perfect-depth

[TPAMI 2026 & NeurIPS 2025] 像素级精准深度

gangweix
⭐ 1,076 Python 👤 gangweix User 🕐 已更新 2026-02-13 📅 创建时间 2025-05-26
88
hans0809/MiniMind-in-Depth

轻量级大语言模型MiniMind的源码解读,包含tokenizer、RoPE、MoE、KV Cache、pretraining、SFT、LoRA、DPO等完整流程

hans0809
⭐ 1,072 👤 hans0809 User 🕐 已更新 2025-06-16 📅 创建时间 2025-06-16
89
OpenGVLab/SAM-Med2D

SAM-Med2D的官方实现

OpenGVLab
⭐ 1,071 Jupyter Notebook 👤 OpenGVLab Organization 🕐 已更新 2024-06-18 📅 创建时间 2023-08-26
90
abertsch72/unlimiformer

NeurIPS 2023 论文“Unlimiformer:无限长度输入的长程 Transformer”的公开仓库

abertsch72
⭐ 1,063 Python 👤 abertsch72 User 🕐 已更新 2024-03-07 📅 创建时间 2023-05-03
91
tspeterkim/flash-attention-minimal

约100行CUDA实现Flash Attention(仅前向传播)

tspeterkim
⭐ 1,036 Cuda 👤 tspeterkim User 🕐 已更新 2024-12-30 📅 创建时间 2024-03-07
92
fla-org/native-sparse-attention

🐳 "Native Sparse Attention: Hardware-Aligned and Natively Trainable Sparse Attention" 的高效 Triton 实现

fla-org
⭐ 1,030 Python 👤 fla-org Organization 🕐 已更新 2026-02-05 📅 创建时间 2025-02-21
93
Ligo-Biosciences/AlphaFold3

AlphaFold3 的开源实现

Ligo-Biosciences
⭐ 1,024 Python 👤 Ligo-Biosciences Organization 🕐 已更新 2024-10-07 📅 创建时间 2023-11-11
94
qiuzh20/gated_attention

[NeurIPS2025 Oral] 大型语言模型的门控注意力:非线性、稀疏性与无注意力汇聚(Attention-Sink-Free)的官方实现

qiuzh20
⭐ 994 Jupyter Notebook 👤 qiuzh20 User 🕐 已更新 2025-12-20 📅 创建时间 2025-05-09
95
likejazz/llama3.np

llama3.np是Llama 3模型的纯NumPy实现。

likejazz
⭐ 991 Python 👤 likejazz User 🕐 已更新 2025-04-27 📅 创建时间 2024-05-13
96
wzzheng/StreamVGGT

[ICLR 2026] 4D视觉几何变换器流式化

wzzheng
⭐ 988 Python 👤 wzzheng User 🕐 已更新 2025-10-27 📅 创建时间 2025-07-14
97
myshell-ai/JetMoE

用 10 万美元达到 LLaMA2 性能

myshell-ai
⭐ 988 Python 👤 myshell-ai Organization 🕐 已更新 2024-07-23 📅 创建时间 2024-04-02
98
kebijuelun/Awesome-LLM-Learning

学习大型语言模型 (LLM) (大型语言模型学习)

kebijuelun
⭐ 984 TypeScript 👤 kebijuelun User 🕐 已更新 2026-01-05 📅 创建时间 2023-08-06
99
nathanrs/tiny-diffusion

在 Tiny Shakespeare 上训练的字符级语言扩散模型

nathanrs
⭐ 935 Python 👤 nathanrs User 🕐 已更新 2026-01-16 📅 创建时间 2025-10-21
100
facebookresearch/spiritlm

论文《Spirit-LM Interleaved Spoken and Written Language Model》的推理代码。

facebookresearch
⭐ 926 Python 👤 facebookresearch Organization 🕐 已更新 2024-10-28 📅 创建时间 2024-09-06