Git Stars Git Stars

#distributed-training Dépôts

147
Total des Dépôts
615,835
Nombre total d'étoiles
4,189
Moyenne d'Étoiles/Dépôt
51
google/tunix

Une bibliothèque légère de post-entraînement LLM

google
⭐ 2,516 Python 👤 google Organization 🕐 Mis à jour 2026-11-21 📅 Créé 2025-04-02
52
Unakar/Logic-RL

Reproduire R1 Zero sur le puzzle logique

Unakar
⭐ 2,451 Python 👤 Unakar User 🕐 Mis à jour 2025-03-20 📅 Créé 2025-02-02
53
aigc-apps/VideoX-Fun

📹 Un framework plus flexible qui peut générer des vidéos à n'importe quelle résolution et créer des vidéos à partir d'images.

aigc-apps
⭐ 2,337 Python 👤 aigc-apps Organization 🕐 Mis à jour 2026-11-19 📅 Créé 2024-09-10
54
AmberLJC/LLMSys-PaperList

Liste d'articles sur les systèmes de grands modèles linguistiques (LLM)

AmberLJC
⭐ 2,332 Python 👤 AmberLJC User 🕐 Mis à jour 2026-10-20 📅 Créé 2023-06-06
55
ByteDance-Seed/VeOmni

VeOmni : Mise à l'échelle de la formation de modèles de toute modalité avec une bibliothèque distribuée de recettes centrée sur le modèle

ByteDance-Seed
⭐ 2,299 Python 👤 ByteDance-Seed Organization 🕐 Mis à jour 2026-11-21 📅 Créé 2025-03-28
56
PrimeIntellect-ai/prime-rl

Entraînement RL Agentique à Grande Échelle

PrimeIntellect-ai
⭐ 2,268 Python 👤 PrimeIntellect-ai Organization 🕐 Mis à jour 2026-11-21 📅 Créé 2025-02-18
57
cfregly/ai-performance-engineering

Code, laboratoires et ressources pour O'Reilly AI Systems Performance Engineering : optimisation GPU, entraînement distribué, mise à l'échelle de l'inférence et réglage full-stack.

cfregly
⭐ 2,233 Python 👤 cfregly User 🕐 Mis à jour 2026-11-19 📅 Créé 2025-04-21
58
NVIDIA-NeMo/RL

Boîte à outils évolutive pour un renforcement efficace des modèles

NVIDIA-NeMo
⭐ 2,146 Python 👤 NVIDIA-NeMo Organization 🕐 Mis à jour 2026-11-21 📅 Créé 2025-03-16
59
km1994/LLMsNineStoryDemonTower

【LLMs Tour du Démon à Neuf Couches】Partage d'expériences pratiques et de connaissances sur les LLMs dans des domaines tels que le traitement du langage naturel (ChatGLM, Chinese-LLaMA-Alpaca, Xiaoyangtuo Vicuna, LLaMA, GPT4ALL, etc.), la récupération d'informations (langchain), la synthèse vocale, la reconnaissance vocale, le multimodal (Stable Diffusion, MiniGPT-4, VisualGLM-6B, Ziya-Visual, etc.).

km1994
⭐ 2,140 👤 km1994 User 🕐 Mis à jour 2024-03-30 📅 Créé 2023-05-01
60
epfLLM/meditron

Meditron est une suite de grands modèles linguistiques (LLM) open-source pour le domaine médical.

epfLLM
⭐ 2,125 Python 👤 epfLLM Organization 🕐 Mis à jour 2024-04-10 📅 Créé 2023-11-23
61
aceliuchanghong/FAQ_Of_LLM_Interview

Questions d'entretien pour les postes d'algorithmes de grands modèles (avec réponses) : questions fréquentes et analyse des concepts "Questions d'entretien sur les grands modèles", "Entretien pour les postes d'algorithmes", "Questions fréquentes d'entretien", "Entretien sur les algorithmes de grands modèles", "Bases des applications de grands modèles"

aceliuchanghong
⭐ 2,064 Jupyter Notebook 👤 aceliuchanghong User 🕐 Mis à jour 2026-09-17 📅 Créé 2024-03-13
62
NUS-HPC-AI-Lab/VideoSys

VideoSys : Un système simple et efficace pour la génération de vidéos

NUS-HPC-AI-Lab
⭐ 2,022 Python 👤 NUS-HPC-AI-Lab Organization 🕐 Mis à jour 2025-08-27 📅 Créé 2024-02-17
63
LTH14/mar

Implémentation PyTorch de MAR+DiffLoss https://arxiv.org/abs/2406.11838

LTH14
⭐ 1,956 Python 👤 LTH14 User 🕐 Mis à jour 2026-02-20 📅 Créé 2024-07-24
64
flexflow/flexflow-train

Découverte automatique de stratégies de parallélisation rapides pour l'entraînement distribué de réseaux de neurones profonds

flexflow
⭐ 1,900 C++ 👤 flexflow Organization 🕐 Mis à jour 2026-11-20 📅 Créé 2018-12-08
65
laekov/fastmoe

Une implémentation MoE rapide pour PyTorch

laekov
⭐ 1,853 Python 👤 laekov User 🕐 Mis à jour 2025-02-10 📅 Créé 2021-01-25
67
allenai/Olmo-core

Blocs de construction PyTorch pour l'écosystème OLMo

allenai
⭐ 1,810 Python 👤 allenai Organization 🕐 Mis à jour 2026-11-21 📅 Créé 2024-03-23
68
facebookresearch/coconut

Entraînement de grands modèles linguistiques pour raisonner dans un espace latent continu

facebookresearch
⭐ 1,752 Python 👤 facebookresearch Organization 🕐 Mis à jour 2026-07-02 📅 Créé 2025-01-15
⭐ 1,711 Cuda 👤 NVIDIA Organization 🕐 Mis à jour 2026-10-05 📅 Créé 2017-08-08
70
intelligent-machine-learning/dlrover

DLRover : Un système distribué automatique d'apprentissage profond

intelligent-machine-learning
⭐ 1,695 Python 👤 intelligent-machine-learning Organization 🕐 Mis à jour 2026-11-17 📅 Créé 2022-06-24
71
gensyn-ai/rl-swarm

Un framework entièrement open source pour la création d'essaims d'entraînement RL sur Internet.

gensyn-ai
⭐ 1,673 Python 👤 gensyn-ai Organization 🕐 Mis à jour 2026-11-16 📅 Créé 2025-02-25
72
tczhangzhi/pytorch-distributed

Un guide de démarrage rapide et un benchmark pour l'entraînement distribué de PyTorch.

tczhangzhi
⭐ 1,665 Python 👤 tczhangzhi User 🕐 Mis à jour 2024-07-25 📅 Créé 2019-12-20
73
XueFuzhao/OpenMoE

Une famille de grands modèles de langage Mixture-of-Experts (MoE) open-source

XueFuzhao
⭐ 1,648 Python 👤 XueFuzhao User 🕐 Mis à jour 2024-03-08 📅 Créé 2023-08-08
74
alibaba/Pai-Megatron-Patch

Le dépôt officiel de Pai-Megatron-Patch pour la formation à grande échelle de LLM et VLM développé par Alibaba Cloud.

alibaba
⭐ 1,601 Python 👤 alibaba Organization 🕐 Mis à jour 2025-12-15 📅 Créé 2023-09-04
75
EvolvingLMMs-Lab/open-r1-multimodal

Une branche pour ajouter l'entraînement de modèles multimodaux à open-r1

EvolvingLMMs-Lab
⭐ 1,556 Python 👤 EvolvingLMMs-Lab Organization 🕐 Mis à jour 2025-02-08 📅 Créé 2025-01-27
76
AnswerDotAI/fsdp_qlora

Entraînement des LLM avec QLoRA + FSDP

AnswerDotAI
⭐ 1,534 Jupyter Notebook 👤 AnswerDotAI Organization 🕐 Mis à jour 2024-11-09 📅 Créé 2024-01-14
77
Tencent/TFace

Une plateforme de recherche d'analyse faciale fiable développée par le Tencent Youtu Lab

Tencent
⭐ 1,524 Python 👤 Tencent Organization 🕐 Mis à jour 2025-12-11 📅 Créé 2021-05-20
78
MoonshotAI/Moonlight

Muon est évolutif pour la formation des LLM

MoonshotAI
⭐ 1,523 👤 MoonshotAI Organization 🕐 Mis à jour 2025-08-03 📅 Créé 2025-02-22
79
fastnlp/fitlog

fitlog est un outil utilisé dans l'entraînement en apprentissage profond pour aider les utilisateurs à enregistrer des journaux et à gérer le code.

fastnlp
⭐ 1,517 Python 👤 fastnlp Organization 🕐 Mis à jour 2024-01-16 📅 Créé 2019-04-03
80
Lightning-AI/lightning-thunder

Compilateur PyTorch qui accélère l'entraînement et l'inférence. Obtenez des optimisations intégrées pour la performance, la mémoire, le parallélisme, et écrivez facilement les vôtres.

Lightning-AI
⭐ 1,476 Python 👤 Lightning-AI Organization 🕐 Mis à jour 2026-10-12 📅 Créé 2024-03-18
81
pytorch/gloo

Bibliothèque de communication collective avec diverses primitives pour l'entraînement multi-machines.

pytorch
⭐ 1,469 C++ 👤 pytorch Organization 🕐 Mis à jour 2026-11-18 📅 Créé 2017-02-03
82
kubeflow/examples

Un dépôt pour héberger des exemples et tutoriels étendus

kubeflow
⭐ 1,463 Jsonnet 👤 kubeflow Organization 🕐 Mis à jour 2025-04-14 📅 Créé 2018-02-01
85
mapillary/inplace_abn

BatchNorm Activé In-Place pour l'Entraînement Optimisé en Mémoire des DNN

mapillary
⭐ 1,331 Python 👤 mapillary Organization 🕐 Mis à jour 2026-11-18 📅 Créé 2017-11-23
87
XueFuzhao/awesome-mixture-of-experts

Une collection de choses GÉNIALES sur les mixtures d'experts

XueFuzhao
⭐ 1,247 👤 XueFuzhao User 🕐 Mis à jour 2024-12-08 📅 Créé 2022-03-30
88
LTH14/fractalgen

Implémentation PyTorch de FractalGen https://arxiv.org/abs/2502.17437

LTH14
⭐ 1,238 Python 👤 LTH14 User 🕐 Mis à jour 2025-02-25 📅 Créé 2025-02-18
90
DeepRec-AI/DeepRec

DeepRec est un framework d'apprentissage profond de haute performance pour les recommandations, basé sur TensorFlow. Il est hébergé en incubation au sein de la LF AI & Data Foundation.

DeepRec-AI
⭐ 1,183 C++ 👤 DeepRec-AI Organization 🕐 Mis à jour 2025-01-21 📅 Créé 2021-12-24
91
deepseek-ai/profile-data

Analyser le chevauchement calcul-communication dans V3/R1.

deepseek-ai
⭐ 1,159 👤 deepseek-ai Organization 🕐 Mis à jour 2025-03-21 📅 Créé 2025-02-26
92
gpu-mode/awesomeMLSys

Une liste d'intégration de systèmes ML

gpu-mode
⭐ 1,154 👤 gpu-mode Organization 🕐 Mis à jour 2026-02-19 📅 Créé 2024-05-06
93
HITsz-TMG/Uni-MoE

Uni-MoE : La famille de modèles multimodaux volumineux de Lychee.

HITsz-TMG
⭐ 1,120 Python 👤 HITsz-TMG Organization 🕐 Mis à jour 2026-08-06 📅 Créé 2024-03-04
94
arcee-ai/DistillKit

Un toolkit open source pour la distillation LLM

arcee-ai
⭐ 1,095 Python 👤 arcee-ai Organization 🕐 Mis à jour 2026-05-12 📅 Créé 2024-07-31
95
open-gigaai/giga-train

GigaTrain : Un cadre d'entraînement efficace et évolutif pour les modèles d'IA

open-gigaai
⭐ 1,074 Python 👤 open-gigaai Organization 🕐 Mis à jour 2026-08-25 📅 Créé 2025-09-26
96
zhuzilin/ring-flash-attention

Implémentation de l'attention en anneau avec flash attention

zhuzilin
⭐ 1,054 Python 👤 zhuzilin User 🕐 Mis à jour 2025-09-10 📅 Créé 2024-02-21
97
mryab/efficient-dl-systems

Matériaux du cours sur les systèmes d'apprentissage profond efficaces

mryab
⭐ 1,052 Jupyter Notebook 👤 mryab User 🕐 Mis à jour 2026-05-28 📅 Créé 2021-12-06
98
isaac-sim/OmniIsaacGymEnvs

Environnements d'apprentissage par renforcement pour Omniverse Isaac Gym

isaac-sim
⭐ 1,020 Python 👤 isaac-sim Organization 🕐 Mis à jour 2024-06-06 📅 Créé 2022-06-01
99
PsycheFoundation/nousnet

Une infrastructure ouverte pour démocratiser et décentraliser le développement de la superintelligence pour l'humanité.

PsycheFoundation
⭐ 983 Rust 👤 PsycheFoundation Organization 🕐 Mis à jour 2026-03-24 📅 Créé 2025-01-23
100
SandAI-org/MagiAttention

Une attention distribuée pour une évolutivité linéaire dans l'entraînement sur des contextes ultra-longs et des données hétérogènes

SandAI-org
⭐ 975 Python 👤 SandAI-org Organization 🕐 Mis à jour 2026-11-21 📅 Créé 2025-04-20