Git Stars Git Stars

#distributed-training 仓库

147
仓库总数
615,835
总星标数
4,189
平均每个仓库星标数

共 147 个仓库

51
google/tunix

轻量级LLM后训练库

google
⭐ 2,516 Python 👤 google Organization 🕐 已更新 2026-11-21 📅 创建时间 2025-04-02
52
Unakar/Logic-RL

在逻辑谜题中重现 R1 Zero

Unakar
⭐ 2,451 Python 👤 Unakar User 🕐 已更新 2025-03-20 📅 创建时间 2025-02-02
53
aigc-apps/VideoX-Fun

📹 一个更灵活的框架,可以在任何分辨率下生成视频,并根据图像创建视频。

aigc-apps
⭐ 2,337 Python 👤 aigc-apps Organization 🕐 已更新 2026-11-19 📅 创建时间 2024-09-10
54
AmberLJC/LLMSys-PaperList

大语言模型(LLM)系统论文列表

AmberLJC
⭐ 2,332 Python 👤 AmberLJC User 🕐 已更新 2026-10-20 📅 创建时间 2023-06-06
55
ByteDance-Seed/VeOmni

VeOmni:使用以模型为中心的分布式 Recipe Zoo 扩展任何模态模型训练

ByteDance-Seed
⭐ 2,299 Python 👤 ByteDance-Seed Organization 🕐 已更新 2026-11-21 📅 创建时间 2025-03-28
56
PrimeIntellect-ai/prime-rl

大规模代理RL训练

PrimeIntellect-ai
⭐ 2,268 Python 👤 PrimeIntellect-ai Organization 🕐 已更新 2026-11-21 📅 创建时间 2025-02-18
57
cfregly/ai-performance-engineering

O'Reilly AI 系统性能工程的代码、实验和资源:GPU 优化、分布式训练、推理扩展和全栈调优。

cfregly
⭐ 2,233 Python 👤 cfregly User 🕐 已更新 2026-11-19 📅 创建时间 2025-04-21
58
NVIDIA-NeMo/RL

高效模型增强的可扩展工具包

NVIDIA-NeMo
⭐ 2,146 Python 👤 NVIDIA-NeMo Organization 🕐 已更新 2026-11-21 📅 创建时间 2025-03-16
59
km1994/LLMsNineStoryDemonTower

【LLMs九层妖塔】分享 LLMs在自然语言处理(ChatGLM、Chinese-LLaMA-Alpaca、小羊驼 Vicuna、LLaMA、GPT4ALL等)、信息检索(langchain)、语言合成、语言识别、多模态等领域(Stable Diffusion、MiniGPT-4、VisualGLM-6B、Ziya-Visual等)等 实战与经验。

km1994
⭐ 2,140 👤 km1994 User 🕐 已更新 2024-03-30 📅 创建时间 2023-05-01
60
epfLLM/meditron

Meditron 是一套开源的医疗领域大语言模型(LLM)。

epfLLM
⭐ 2,125 Python 👤 epfLLM Organization 🕐 已更新 2024-04-10 📅 创建时间 2023-11-23
61
aceliuchanghong/FAQ_Of_LLM_Interview

大模型算法岗面试题(含答案):常见问题和概念解析 "大模型面试题"、"算法岗面试"、"面试常见问题"、"大模型算法面试"、"大模型应用基础"

aceliuchanghong
⭐ 2,064 Jupyter Notebook 👤 aceliuchanghong User 🕐 已更新 2026-09-17 📅 创建时间 2024-03-13
62
NUS-HPC-AI-Lab/VideoSys

VideoSys:一个简单高效的视频生成系统

NUS-HPC-AI-Lab
⭐ 2,022 Python 👤 NUS-HPC-AI-Lab Organization 🕐 已更新 2025-08-27 📅 创建时间 2024-02-17
63
LTH14/mar

MAR+DiffLoss的PyTorch实现 https://arxiv.org/abs/2406.11838

LTH14
⭐ 1,956 Python 👤 LTH14 User 🕐 已更新 2026-02-20 📅 创建时间 2024-07-24
64
flexflow/flexflow-train

分布式深度神经网络训练的快速并行化策略自动发现

flexflow
⭐ 1,900 C++ 👤 flexflow Organization 🕐 已更新 2026-11-20 📅 创建时间 2018-12-08
65
laekov/fastmoe

PyTorch 的快速 MoE 实现

laekov
⭐ 1,853 Python 👤 laekov User 🕐 已更新 2025-02-10 📅 创建时间 2021-01-25
67
allenai/Olmo-core

OLMo生态系统的PyTorch构建模块

allenai
⭐ 1,810 Python 👤 allenai Organization 🕐 已更新 2026-11-21 📅 创建时间 2024-03-23
68
facebookresearch/coconut

在連續潛在空間中進行推理的大型語言模型訓練

facebookresearch
⭐ 1,752 Python 👤 facebookresearch Organization 🕐 已更新 2026-07-02 📅 创建时间 2025-01-15
69
NVIDIA
⭐ 1,711 Cuda 👤 NVIDIA Organization 🕐 已更新 2026-10-05 📅 创建时间 2017-08-08
70
intelligent-machine-learning/dlrover

DLRover:一个自动化的分布式深度学习系统

intelligent-machine-learning
⭐ 1,695 Python 👤 intelligent-machine-learning Organization 🕐 已更新 2026-11-17 📅 创建时间 2022-06-24
71
gensyn-ai/rl-swarm

一个用于在互联网上创建 RL 训练群的完全开源框架。

gensyn-ai
⭐ 1,673 Python 👤 gensyn-ai Organization 🕐 已更新 2026-11-16 📅 创建时间 2025-02-25
72
tczhangzhi/pytorch-distributed

PyTorch 分布式训练的快速入门和基准测试。

tczhangzhi
⭐ 1,665 Python 👤 tczhangzhi User 🕐 已更新 2024-07-25 📅 创建时间 2019-12-20
73
XueFuzhao/OpenMoE

一类开源的专家混合(MoE)大型语言模型

XueFuzhao
⭐ 1,648 Python 👤 XueFuzhao User 🕐 已更新 2024-03-08 📅 创建时间 2023-08-08
74
alibaba/Pai-Megatron-Patch

Alibaba Cloud 开发的用于 LLM & VLM 大规模训练的 Pai-Megatron-Patch 官方仓库。

alibaba
⭐ 1,601 Python 👤 alibaba Organization 🕐 已更新 2025-12-15 📅 创建时间 2023-09-04
75
EvolvingLMMs-Lab/open-r1-multimodal

为 open-r1 添加多模态模型训练的 fork

EvolvingLMMs-Lab
⭐ 1,556 Python 👤 EvolvingLMMs-Lab Organization 🕐 已更新 2025-02-08 📅 创建时间 2025-01-27
76
AnswerDotAI/fsdp_qlora

使用 QLoRA + FSDP 训练 LLM

AnswerDotAI
⭐ 1,534 Jupyter Notebook 👤 AnswerDotAI Organization 🕐 已更新 2024-11-09 📅 创建时间 2024-01-14
77
Tencent/TFace

腾讯优图实验室开发的值得信赖的人脸分析研究平台

Tencent
⭐ 1,524 Python 👤 Tencent Organization 🕐 已更新 2025-12-11 📅 创建时间 2021-05-20
78
MoonshotAI/Moonlight

Muon 可扩展用于 LLM 训练

MoonshotAI
⭐ 1,523 👤 MoonshotAI Organization 🕐 已更新 2025-08-03 📅 创建时间 2025-02-22
79
fastnlp/fitlog

fitlog是一款在深度学习训练中用于辅助用户记录日志和管理代码的工具

fastnlp
⭐ 1,517 Python 👤 fastnlp Organization 🕐 已更新 2024-01-16 📅 创建时间 2019-04-03
80
Lightning-AI/lightning-thunder

加速训练和推理的 PyTorch 编译器。获得用于性能、内存、并行化的内置优化,并轻松编写自己的优化。

Lightning-AI
⭐ 1,476 Python 👤 Lightning-AI Organization 🕐 已更新 2026-10-12 📅 创建时间 2024-03-18
81
pytorch/gloo

用于多机训练的集合通信库,包含各种基本组件。

pytorch
⭐ 1,469 C++ 👤 pytorch Organization 🕐 已更新 2026-11-18 📅 创建时间 2017-02-03
82
kubeflow/examples

一个用于托管扩展示例和教程的仓库

kubeflow
⭐ 1,463 Jsonnet 👤 kubeflow Organization 🕐 已更新 2025-04-14 📅 创建时间 2018-02-01
85
mapillary/inplace_abn

用于DNNs内存优化训练的就地激活批归一化

mapillary
⭐ 1,331 Python 👤 mapillary Organization 🕐 已更新 2026-11-18 📅 创建时间 2017-11-23
87
XueFuzhao/awesome-mixture-of-experts

关于混合专家模型(mixture-of-experts)的精彩内容合集

XueFuzhao
⭐ 1,247 👤 XueFuzhao User 🕐 已更新 2024-12-08 📅 创建时间 2022-03-30
88
LTH14/fractalgen

FractalGen的PyTorch实现 https://arxiv.org/abs/2502.17437

LTH14
⭐ 1,238 Python 👤 LTH14 User 🕐 已更新 2025-02-25 📅 创建时间 2025-02-18
90
DeepRec-AI/DeepRec

DeepRec 是一个基于 TensorFlow 的高性能推荐深度学习框架。它由 LF AI & Data Foundation 孵化托管。

DeepRec-AI
⭐ 1,183 C++ 👤 DeepRec-AI Organization 🕐 已更新 2025-01-21 📅 创建时间 2021-12-24
91
deepseek-ai/profile-data

分析 V3/R1 中的计算-通信重叠。

deepseek-ai
⭐ 1,159 👤 deepseek-ai Organization 🕐 已更新 2025-03-21 📅 创建时间 2025-02-26
92
gpu-mode/awesomeMLSys

ML系统入职列表

gpu-mode
⭐ 1,154 👤 gpu-mode Organization 🕐 已更新 2026-02-19 📅 创建时间 2024-05-06
93
HITsz-TMG/Uni-MoE

Uni-MoE:荔枝的大型多模态模型系列。

HITsz-TMG
⭐ 1,120 Python 👤 HITsz-TMG Organization 🕐 已更新 2026-08-06 📅 创建时间 2024-03-04
94
arcee-ai/DistillKit

LLM蒸馏的开源工具包

arcee-ai
⭐ 1,095 Python 👤 arcee-ai Organization 🕐 已更新 2026-05-12 📅 创建时间 2024-07-31
95
open-gigaai/giga-train

GigaTrain:一个高效且可扩展的 AI 模型训练框架

open-gigaai
⭐ 1,074 Python 👤 open-gigaai Organization 🕐 已更新 2026-08-25 📅 创建时间 2025-09-26
96
zhuzilin/ring-flash-attention

使用Flash Attention实现Ring Attention

zhuzilin
⭐ 1,054 Python 👤 zhuzilin User 🕐 已更新 2025-09-10 📅 创建时间 2024-02-21
97
mryab/efficient-dl-systems

高效深度学习系统课程材料

mryab
⭐ 1,052 Jupyter Notebook 👤 mryab User 🕐 已更新 2026-05-28 📅 创建时间 2021-12-06
98
isaac-sim/OmniIsaacGymEnvs

面向 Omniverse Isaac Gym 的强化学习环境

isaac-sim
⭐ 1,020 Python 👤 isaac-sim Organization 🕐 已更新 2024-06-06 📅 创建时间 2022-06-01
99
PsycheFoundation/nousnet

一个开放的基础设施,用于民主化和去中心化人类超级智能的发展。

PsycheFoundation
⭐ 983 Rust 👤 PsycheFoundation Organization 🕐 已更新 2026-03-24 📅 创建时间 2025-01-23
100
SandAI-org/MagiAttention

一种面向超长上下文、异构数据训练的线性可扩展分布式注意力机制

SandAI-org
⭐ 975 Python 👤 SandAI-org Organization 🕐 已更新 2026-11-21 📅 创建时间 2025-04-20