Git Stars Git Stars

#distributed-training Репозитории

147
Всего репозиториев
615,835
Всего звезд
4,189
Среднее количество звезд на репозиторий
Языки программирования: Python Jupyter Notebook C++ Cuda Jsonnet Rust

Всего репозиториев: 147

51
google/tunix

Легковесная библиотека для пост-обучения LLM

google
⭐ 2,516 Python 👤 google Organization 🕐 Обновлено 2026-11-21 📅 Создано 2025-04-02
52
Unakar/Logic-RL

Воспроизвести R1 Zero в логической головоломке

Unakar
⭐ 2,451 Python 👤 Unakar User 🕐 Обновлено 2025-03-20 📅 Создано 2025-02-02
53
aigc-apps/VideoX-Fun

📹 Более гибкая структура, которая может генерировать видео с любым разрешением и создавать видео из изображений.

aigc-apps
⭐ 2,337 Python 👤 aigc-apps Organization 🕐 Обновлено 2026-11-19 📅 Создано 2024-09-10
54
AmberLJC/LLMSys-PaperList

Список статей по системам больших языковых моделей (LLM)

AmberLJC
⭐ 2,332 Python 👤 AmberLJC User 🕐 Обновлено 2026-10-20 📅 Создано 2023-06-06
55
ByteDance-Seed/VeOmni

VeOmni: Масштабирование обучения моделей любой модальности с помощью распределенного сборника рецептов, ориентированного на модели

ByteDance-Seed
⭐ 2,299 Python 👤 ByteDance-Seed Organization 🕐 Обновлено 2026-11-21 📅 Создано 2025-03-28
56
PrimeIntellect-ai/prime-rl

Обучение RL с агентным подходом в масштабе

PrimeIntellect-ai
⭐ 2,268 Python 👤 PrimeIntellect-ai Organization 🕐 Обновлено 2026-11-21 📅 Создано 2025-02-18
57
cfregly/ai-performance-engineering

Код, лабораторные работы и ресурсы для O'Reilly AI Systems Performance Engineering: оптимизация GPU, распределенное обучение, масштабирование вывода и полностековая настройка.

cfregly
⭐ 2,233 Python 👤 cfregly User 🕐 Обновлено 2026-11-19 📅 Создано 2025-04-21
58
NVIDIA-NeMo/RL

Масштабируемый набор инструментов для эффективного усиления моделей

NVIDIA-NeMo
⭐ 2,146 Python 👤 NVIDIA-NeMo Organization 🕐 Обновлено 2026-11-21 📅 Создано 2025-03-16
59
km1994/LLMsNineStoryDemonTower

【LLMs Девятислойная башня демона】Обмен практическим опытом и знаниями LLMs в таких областях, как обработка естественного языка (ChatGLM, Chinese-LLaMA-Alpaca, Xiaoyangtuo Vicuna, LLaMA, GPT4ALL и др.), поиск информации (langchain), синтез речи, распознавание речи, мультимодальные модели (Stable Diffusion, MiniGPT-4, VisualGLM-6B, Ziya-Visual и др.).

km1994
⭐ 2,140 👤 km1994 User 🕐 Обновлено 2024-03-30 📅 Создано 2023-05-01
60
epfLLM/meditron

Meditron — это набор крупномасштабных языковых моделей (LLM) с открытым исходным кодом для медицинских целей.

epfLLM
⭐ 2,125 Python 👤 epfLLM Organization 🕐 Обновлено 2024-04-10 📅 Создано 2023-11-23
61
aceliuchanghong/FAQ_Of_LLM_Interview

Вопросы для собеседования на должность алгоритма больших моделей (с ответами): частые вопросы и анализ концепций "Вопросы для собеседования по большим моделям", "Собеседование на должность алгоритма", "Частые вопросы на собеседовании", "Собеседование по алгоритмам больших моделей", "Основы применения больших моделей"

aceliuchanghong
⭐ 2,064 Jupyter Notebook 👤 aceliuchanghong User 🕐 Обновлено 2026-09-17 📅 Создано 2024-03-13
62
NUS-HPC-AI-Lab/VideoSys

VideoSys: Простая и эффективная система для генерации видео

NUS-HPC-AI-Lab
⭐ 2,022 Python 👤 NUS-HPC-AI-Lab Organization 🕐 Обновлено 2025-08-27 📅 Создано 2024-02-17
63
LTH14/mar

Реализация MAR+DiffLoss на PyTorch https://arxiv.org/abs/2406.11838

LTH14
⭐ 1,956 Python 👤 LTH14 User 🕐 Обновлено 2026-02-20 📅 Создано 2024-07-24
64
flexflow/flexflow-train

Автоматическое обнаружение быстрых стратегий параллелизации для распределенного обучения глубоких нейронных сетей

flexflow
⭐ 1,900 C++ 👤 flexflow Organization 🕐 Обновлено 2026-11-20 📅 Создано 2018-12-08
65
laekov/fastmoe

Быстрая реализация MoE для PyTorch

laekov
⭐ 1,853 Python 👤 laekov User 🕐 Обновлено 2025-02-10 📅 Создано 2021-01-25
67
allenai/Olmo-core

Строительные блоки PyTorch для экосистемы OLMo

allenai
⭐ 1,810 Python 👤 allenai Organization 🕐 Обновлено 2026-11-21 📅 Создано 2024-03-23
68
facebookresearch/coconut

Обучение больших языковых моделей для рассуждений в непрерывном скрытом пространстве

facebookresearch
⭐ 1,752 Python 👤 facebookresearch Organization 🕐 Обновлено 2026-07-02 📅 Создано 2025-01-15
69
NVIDIA/nccl-tests

Тесты NCCL

NVIDIA
⭐ 1,711 Cuda 👤 NVIDIA Organization 🕐 Обновлено 2026-10-05 📅 Создано 2017-08-08
70
intelligent-machine-learning/dlrover

DLRover: Автоматизированная распределенная система глубокого обучения

intelligent-machine-learning
⭐ 1,695 Python 👤 intelligent-machine-learning Organization 🕐 Обновлено 2026-11-17 📅 Создано 2022-06-24
71
gensyn-ai/rl-swarm

Полностью открытый исходный код фреймворка для создания роев для обучения RL через Интернет.

gensyn-ai
⭐ 1,673 Python 👤 gensyn-ai Organization 🕐 Обновлено 2026-11-16 📅 Создано 2025-02-25
72
tczhangzhi/pytorch-distributed

Быстрый старт и бенчмарк для распределённого обучения PyTorch.

tczhangzhi
⭐ 1,665 Python 👤 tczhangzhi User 🕐 Обновлено 2024-07-25 📅 Создано 2019-12-20
73
XueFuzhao/OpenMoE

Семейство больших языковых моделей Mixture-of-Experts (MoE) с открытым исходным кодом

XueFuzhao
⭐ 1,648 Python 👤 XueFuzhao User 🕐 Обновлено 2024-03-08 📅 Создано 2023-08-08
74
alibaba/Pai-Megatron-Patch

Официальный репозиторий Pai-Megatron-Patch для крупномасштабного обучения LLM и VLM, разработанный Alibaba Cloud.

alibaba
⭐ 1,601 Python 👤 alibaba Organization 🕐 Обновлено 2025-12-15 📅 Создано 2023-09-04
75
EvolvingLMMs-Lab/open-r1-multimodal

Форк для добавления обучения мультимодальным моделям в open-r1

EvolvingLMMs-Lab
⭐ 1,556 Python 👤 EvolvingLMMs-Lab Organization 🕐 Обновлено 2025-02-08 📅 Создано 2025-01-27
76
AnswerDotAI/fsdp_qlora

Обучение LLM с помощью QLoRA + FSDP

AnswerDotAI
⭐ 1,534 Jupyter Notebook 👤 AnswerDotAI Organization 🕐 Обновлено 2024-11-09 📅 Создано 2024-01-14
77
Tencent/TFace

Надежная платформа для исследований в области анализа лиц, разработанная Tencent Youtu Lab

Tencent
⭐ 1,524 Python 👤 Tencent Organization 🕐 Обновлено 2025-12-11 📅 Создано 2021-05-20
78
MoonshotAI/Moonlight

Muon масштабируется для обучения LLM

MoonshotAI
⭐ 1,523 👤 MoonshotAI Organization 🕐 Обновлено 2025-08-03 📅 Создано 2025-02-22
79
fastnlp/fitlog

fitlog — это инструмент, используемый в обучении глубокому обучению для помощи пользователям в ведении логов и управлении кодом.

fastnlp
⭐ 1,517 Python 👤 fastnlp Organization 🕐 Обновлено 2024-01-16 📅 Создано 2019-04-03
80
Lightning-AI/lightning-thunder

Компилятор PyTorch, ускоряющий обучение и вывод. Получите встроенные оптимизации для производительности, памяти, параллелизма и легко напишите свои собственные.

Lightning-AI
⭐ 1,476 Python 👤 Lightning-AI Organization 🕐 Обновлено 2026-10-12 📅 Создано 2024-03-18
81
pytorch/gloo

Библиотека коллективных коммуникаций с различными примитивами для многомашинного обучения.

pytorch
⭐ 1,469 C++ 👤 pytorch Organization 🕐 Обновлено 2026-11-18 📅 Создано 2017-02-03
82
kubeflow/examples

Репозиторий для размещения расширенных примеров и руководств

kubeflow
⭐ 1,463 Jsonnet 👤 kubeflow Organization 🕐 Обновлено 2025-04-14 📅 Создано 2018-02-01
85
mapillary/inplace_abn

Активированная на месте BatchNorm для обучения DNN с оптимизацией памяти

mapillary
⭐ 1,331 Python 👤 mapillary Organization 🕐 Обновлено 2026-11-18 📅 Создано 2017-11-23
87
XueFuzhao/awesome-mixture-of-experts

Подборка ПОТРЯСАЮЩИХ материалов о Mixture-of-Experts

XueFuzhao
⭐ 1,247 👤 XueFuzhao User 🕐 Обновлено 2024-12-08 📅 Создано 2022-03-30
88
LTH14/fractalgen

Реализация FractalGen на PyTorch https://arxiv.org/abs/2502.17437

LTH14
⭐ 1,238 Python 👤 LTH14 User 🕐 Обновлено 2025-02-25 📅 Создано 2025-02-18
90
DeepRec-AI/DeepRec

DeepRec — это высокопроизводительный фреймворк глубокого обучения для рекомендаций на основе TensorFlow. Он размещен в инкубаторе LF AI & Data Foundation.

DeepRec-AI
⭐ 1,183 C++ 👤 DeepRec-AI Organization 🕐 Обновлено 2025-01-21 📅 Создано 2021-12-24
91
deepseek-ai/profile-data

Анализ пересечения вычислений и коммуникаций в V3/R1.

deepseek-ai
⭐ 1,159 👤 deepseek-ai Organization 🕐 Обновлено 2025-03-21 📅 Создано 2025-02-26
92
gpu-mode/awesomeMLSys

Список адаптации ML-систем

gpu-mode
⭐ 1,154 👤 gpu-mode Organization 🕐 Обновлено 2026-02-19 📅 Создано 2024-05-06
93
HITsz-TMG/Uni-MoE

Uni-MoE: Семейство больших мультимодальных моделей Lychee.

HITsz-TMG
⭐ 1,120 Python 👤 HITsz-TMG Organization 🕐 Обновлено 2026-08-06 📅 Создано 2024-03-04
94
arcee-ai/DistillKit

Инструментарий с открытым исходным кодом для дистилляции LLM

arcee-ai
⭐ 1,095 Python 👤 arcee-ai Organization 🕐 Обновлено 2026-05-12 📅 Создано 2024-07-31
95
open-gigaai/giga-train

GigaTrain: Эффективная и масштабируемая платформа для обучения моделей ИИ

open-gigaai
⭐ 1,074 Python 👤 open-gigaai Organization 🕐 Обновлено 2026-08-25 📅 Создано 2025-09-26
96
zhuzilin/ring-flash-attention

Реализация кольцевого внимания с флэш-вниманием

zhuzilin
⭐ 1,054 Python 👤 zhuzilin User 🕐 Обновлено 2025-09-10 📅 Создано 2024-02-21
97
mryab/efficient-dl-systems

Учебные материалы курса по эффективным системам глубокого обучения

mryab
⭐ 1,052 Jupyter Notebook 👤 mryab User 🕐 Обновлено 2026-05-28 📅 Создано 2021-12-06
98
isaac-sim/OmniIsaacGymEnvs

Среды обучения с подкреплением для Omniverse Isaac Gym

isaac-sim
⭐ 1,020 Python 👤 isaac-sim Organization 🕐 Обновлено 2024-06-06 📅 Создано 2022-06-01
99
PsycheFoundation/nousnet

Открытая инфраструктура для демократизации и децентрализации разработки сверхразума для человечества.

PsycheFoundation
⭐ 983 Rust 👤 PsycheFoundation Organization 🕐 Обновлено 2026-03-24 📅 Создано 2025-01-23
100
SandAI-org/MagiAttention

Распределенное внимание для линейной масштабируемости при обучении на сверхдлинных контекстах и гетерогенных данных

SandAI-org
⭐ 975 Python 👤 SandAI-org Organization 🕐 Обновлено 2026-11-21 📅 Создано 2025-04-20