Git Stars Git Stars

#distributed-training 저장소

147
총 리포지토리
615,835
총 별점
4,189
리포지토리당 평균 스타 수

저장소 총 147개

51
google/tunix

경량 LLM 후학습 라이브러리

google
⭐ 2,516 Python 👤 google Organization 🕐 업데이트됨 2026-11-21 📅 생성됨 2025-04-02
52
Unakar/Logic-RL

논리 퍼즐에서 R1 제로 재현

Unakar
⭐ 2,451 Python 👤 Unakar User 🕐 업데이트됨 2025-03-20 📅 생성됨 2025-02-02
53
aigc-apps/VideoX-Fun

📹 어떤 해상도에서도 동영상을 생성하고 이미지에서 동영상을 만드는 더 유연한 프레임워크입니다.

aigc-apps
⭐ 2,337 Python 👤 aigc-apps Organization 🕐 업데이트됨 2026-11-19 📅 생성됨 2024-09-10
54
AmberLJC/LLMSys-PaperList

대규모 언어 모델(LLM) 시스템 논문 목록

AmberLJC
⭐ 2,332 Python 👤 AmberLJC User 🕐 업데이트됨 2026-10-20 📅 생성됨 2023-06-06
55
ByteDance-Seed/VeOmni

VeOmni: 모델 중심 분산 레시피 동물원으로 모든 모달리티 모델 학습 확장

ByteDance-Seed
⭐ 2,299 Python 👤 ByteDance-Seed Organization 🕐 업데이트됨 2026-11-21 📅 생성됨 2025-03-28
56
PrimeIntellect-ai/prime-rl

대규모 에이전틱 RL 훈련

PrimeIntellect-ai
⭐ 2,268 Python 👤 PrimeIntellect-ai Organization 🕐 업데이트됨 2026-11-21 📅 생성됨 2025-02-18
57
cfregly/ai-performance-engineering

O'Reilly AI 시스템 성능 엔지니어링을 위한 코드, 실습 및 리소스: GPU 최적화, 분산 학습, 추론 확장 및 풀스택 튜닝.

cfregly
⭐ 2,233 Python 👤 cfregly User 🕐 업데이트됨 2026-11-19 📅 생성됨 2025-04-21
58
NVIDIA-NeMo/RL

효율적인 모델 강화를 위한 확장 가능한 툴킷

NVIDIA-NeMo
⭐ 2,146 Python 👤 NVIDIA-NeMo Organization 🕐 업데이트됨 2026-11-21 📅 생성됨 2025-03-16
59
km1994/LLMsNineStoryDemonTower

【LLMs 아홉 겹 악마탑】자연어 처리(ChatGLM, Chinese-LLaMA-Alpaca, 샤오양투오 Vicuna, LLaMA, GPT4ALL 등), 정보 검색(langchain), 언어 합성, 언어 인식, 멀티모달(Stable Diffusion, MiniGPT-4, VisualGLM-6B, Ziya-Visual 등) 분야에서의 LLMs 실전 경험 및 노하우 공유.

km1994
⭐ 2,140 👤 km1994 User 🕐 업데이트됨 2024-03-30 📅 생성됨 2023-05-01
60
epfLLM/meditron

Meditron은 의료용 오픈 소스 대규모 언어 모델(LLM) 제품군입니다.

epfLLM
⭐ 2,125 Python 👤 epfLLM Organization 🕐 업데이트됨 2024-04-10 📅 생성됨 2023-11-23
61
aceliuchanghong/FAQ_Of_LLM_Interview

대규모 모델 알고리즘 직무 면접 질문 (답변 포함): 일반적인 질문 및 개념 분석 "대규모 모델 면접 질문", "알고리즘 직무 면접", "면접 일반 질문", "대규모 모델 알고리즘 면접", "대규모 모델 애플리케이션 기초"

aceliuchanghong
⭐ 2,064 Jupyter Notebook 👤 aceliuchanghong User 🕐 업데이트됨 2026-09-17 📅 생성됨 2024-03-13
62
NUS-HPC-AI-Lab/VideoSys

VideoSys: 비디오 생성을 위한 쉽고 효율적인 시스템

NUS-HPC-AI-Lab
⭐ 2,022 Python 👤 NUS-HPC-AI-Lab Organization 🕐 업데이트됨 2025-08-27 📅 생성됨 2024-02-17
63
LTH14/mar

MAR+DiffLoss의 PyTorch 구현 https://arxiv.org/abs/2406.11838

LTH14
⭐ 1,956 Python 👤 LTH14 User 🕐 업데이트됨 2026-02-20 📅 생성됨 2024-07-24
64
flexflow/flexflow-train

분산 심층 신경망 훈련을 위한 빠른 병렬화 전략의 자동 발견

flexflow
⭐ 1,900 C++ 👤 flexflow Organization 🕐 업데이트됨 2026-11-20 📅 생성됨 2018-12-08
65
laekov/fastmoe

PyTorch를 위한 빠른 MoE 구현

laekov
⭐ 1,853 Python 👤 laekov User 🕐 업데이트됨 2025-02-10 📅 생성됨 2021-01-25
67
allenai/Olmo-core

OLMo 생태계를 위한 PyTorch 빌딩 블록

allenai
⭐ 1,810 Python 👤 allenai Organization 🕐 업데이트됨 2026-11-21 📅 생성됨 2024-03-23
68
facebookresearch/coconut

연속 잠재 공간에서 추론하도록 대규모 언어 모델 훈련

facebookresearch
⭐ 1,752 Python 👤 facebookresearch Organization 🕐 업데이트됨 2026-07-02 📅 생성됨 2025-01-15
69
NVIDIA/nccl-tests

NCCL 테스트

NVIDIA
⭐ 1,711 Cuda 👤 NVIDIA Organization 🕐 업데이트됨 2026-10-05 📅 생성됨 2017-08-08
70
intelligent-machine-learning/dlrover

DLRover: 자동 분산 딥러닝 시스템

intelligent-machine-learning
⭐ 1,695 Python 👤 intelligent-machine-learning Organization 🕐 업데이트됨 2026-11-17 📅 생성됨 2022-06-24
71
gensyn-ai/rl-swarm

인터넷을 통한 RL 훈련 스웜 생성을 위한 완전한 오픈 소스 프레임워크.

gensyn-ai
⭐ 1,673 Python 👤 gensyn-ai Organization 🕐 업데이트됨 2026-11-16 📅 생성됨 2025-02-25
72
tczhangzhi/pytorch-distributed

PyTorch 분산 훈련을 위한 빠른 시작 및 벤치마크.

tczhangzhi
⭐ 1,665 Python 👤 tczhangzhi User 🕐 업데이트됨 2024-07-25 📅 생성됨 2019-12-20
73
XueFuzhao/OpenMoE

오픈 소스 Mixture-of-Experts (MoE) 대형 언어 모델 제품군

XueFuzhao
⭐ 1,648 Python 👤 XueFuzhao User 🕐 업데이트됨 2024-03-08 📅 생성됨 2023-08-08
74
alibaba/Pai-Megatron-Patch

Alibaba Cloud에서 개발한 LLM 및 VLM 대규모 학습을 위한 Pai-Megatron-Patch의 공식 저장소입니다.

alibaba
⭐ 1,601 Python 👤 alibaba Organization 🕐 업데이트됨 2025-12-15 📅 생성됨 2023-09-04
75
EvolvingLMMs-Lab/open-r1-multimodal

open-r1에 멀티모달 모델 학습을 추가하기 위한 포크

EvolvingLMMs-Lab
⭐ 1,556 Python 👤 EvolvingLMMs-Lab Organization 🕐 업데이트됨 2025-02-08 📅 생성됨 2025-01-27
76
AnswerDotAI/fsdp_qlora

QLoRA + FSDP를 사용한 LLM 학습

AnswerDotAI
⭐ 1,534 Jupyter Notebook 👤 AnswerDotAI Organization 🕐 업데이트됨 2024-11-09 📅 생성됨 2024-01-14
77
Tencent/TFace

Tencent Youtu Lab에서 개발한 믿음직한 얼굴 분석 연구 플랫폼

Tencent
⭐ 1,524 Python 👤 Tencent Organization 🕐 업데이트됨 2025-12-11 📅 생성됨 2021-05-20
78
MoonshotAI/Moonlight

Muon은 LLM 학습에 확장 가능합니다.

MoonshotAI
⭐ 1,523 👤 MoonshotAI Organization 🕐 업데이트됨 2025-08-03 📅 생성됨 2025-02-22
79
fastnlp/fitlog

fitlog는 딥러닝 훈련 중 사용자에게 로그를 기록하고 코드를 관리하는 데 도움을 주는 도구입니다.

fastnlp
⭐ 1,517 Python 👤 fastnlp Organization 🕐 업데이트됨 2024-01-16 📅 생성됨 2019-04-03
80
Lightning-AI/lightning-thunder

학습 및 추론을 가속하는 PyTorch 컴파일러입니다. 성능, 메모리, 병렬 처리를 위한 내장 최적화를 활용하고 자신만의 최적화를 쉽게 작성하세요.

Lightning-AI
⭐ 1,476 Python 👤 Lightning-AI Organization 🕐 업데이트됨 2026-10-12 📅 생성됨 2024-03-18
81
pytorch/gloo

다중 머신 학습을 위한 다양한 기본 요소를 갖춘 집합 통신 라이브러리.

pytorch
⭐ 1,469 C++ 👤 pytorch Organization 🕐 업데이트됨 2026-11-18 📅 생성됨 2017-02-03
82
kubeflow/examples

확장 예제와 튜토리얼을 호스팅하기 위한 저장소

kubeflow
⭐ 1,463 Jsonnet 👤 kubeflow Organization 🕐 업데이트됨 2025-04-14 📅 생성됨 2018-02-01
85
mapillary/inplace_abn

DNN 훈련의 메모리 최적화를 위한 In-Place Activated BatchNorm

mapillary
⭐ 1,331 Python 👤 mapillary Organization 🕐 업데이트됨 2026-11-18 📅 생성됨 2017-11-23
87
XueFuzhao/awesome-mixture-of-experts

모ิก스처-오브-익스퍼트(Mixture-of-Experts)에 대한 멋진 것들의 모음

XueFuzhao
⭐ 1,247 👤 XueFuzhao User 🕐 업데이트됨 2024-12-08 📅 생성됨 2022-03-30
88
LTH14/fractalgen

FractalGen의 PyTorch 구현 https://arxiv.org/abs/2502.17437

LTH14
⭐ 1,238 Python 👤 LTH14 User 🕐 업데이트됨 2025-02-25 📅 생성됨 2025-02-18
90
DeepRec-AI/DeepRec

DeepRec은 TensorFlow 기반의 고성능 추천 딥러닝 프레임워크입니다. LF AI & Data Foundation에서 인큐베이션 중입니다.

DeepRec-AI
⭐ 1,183 C++ 👤 DeepRec-AI Organization 🕐 업데이트됨 2025-01-21 📅 생성됨 2021-12-24
91
deepseek-ai/profile-data

V3/R1에서 계산-통신 중복을 분석합니다.

deepseek-ai
⭐ 1,159 👤 deepseek-ai Organization 🕐 업데이트됨 2025-03-21 📅 생성됨 2025-02-26
92
gpu-mode/awesomeMLSys

ML 시스템 온보딩 목록

gpu-mode
⭐ 1,154 👤 gpu-mode Organization 🕐 업데이트됨 2026-02-19 📅 생성됨 2024-05-06
93
HITsz-TMG/Uni-MoE

Uni-MoE: Lychee의 대규모 멀티모달 모델 제품군.

HITsz-TMG
⭐ 1,120 Python 👤 HITsz-TMG Organization 🕐 업데이트됨 2026-08-06 📅 생성됨 2024-03-04
94
arcee-ai/DistillKit

LLM 증류를 위한 오픈 소스 툴킷

arcee-ai
⭐ 1,095 Python 👤 arcee-ai Organization 🕐 업데이트됨 2026-05-12 📅 생성됨 2024-07-31
95
open-gigaai/giga-train

GigaTrain: 효율적이고 확장 가능한 AI 모델 훈련 프레임워크

open-gigaai
⭐ 1,074 Python 👤 open-gigaai Organization 🕐 업데이트됨 2026-08-25 📅 생성됨 2025-09-26
96
zhuzilin/ring-flash-attention

플래시 어텐션을 사용한 링 어텐션 구현

zhuzilin
⭐ 1,054 Python 👤 zhuzilin User 🕐 업데이트됨 2025-09-10 📅 생성됨 2024-02-21
97
mryab/efficient-dl-systems

효율적인 딥러닝 시스템 과정 자료

mryab
⭐ 1,052 Jupyter Notebook 👤 mryab User 🕐 업데이트됨 2026-05-28 📅 생성됨 2021-12-06
98
isaac-sim/OmniIsaacGymEnvs

Omniverse Isaac Gym을 위한 강화 학습 환경

isaac-sim
⭐ 1,020 Python 👤 isaac-sim Organization 🕐 업데이트됨 2024-06-06 📅 생성됨 2022-06-01
99
PsycheFoundation/nousnet

인류를 위한 초지능 개발을 민주화하고 분산화하는 개방형 인프라.

PsycheFoundation
⭐ 983 Rust 👤 PsycheFoundation Organization 🕐 업데이트됨 2026-03-24 📅 생성됨 2025-01-23
100
SandAI-org/MagiAttention

초장문 컨텍스트, 이기종 데이터 학습을 위한 선형 확장성을 향한 분산 주의

SandAI-org
⭐ 975 Python 👤 SandAI-org Organization 🕐 업데이트됨 2026-11-21 📅 생성됨 2025-04-20