Git Stars Git Stars

#distributed-training Repository

147
Totale Repository
615,835
Totale stelle
4,189
Media Stelle/Repo
51
google/tunix

Una libreria leggera per il post-addestramento di LLM

google
โญ 2,516 Python ๐Ÿ‘ค google Organization ๐Ÿ• Aggiornato 2026-11-21 ๐Ÿ“… Creato 2025-04-02
52
Unakar/Logic-RL

Riproduci R1 Zero sul puzzle logico

Unakar
โญ 2,451 Python ๐Ÿ‘ค Unakar User ๐Ÿ• Aggiornato 2025-03-20 ๐Ÿ“… Creato 2025-02-02
53
aigc-apps/VideoX-Fun

๐Ÿ“น Un framework piรน flessibile in grado di generare video a qualsiasi risoluzione e creare video da immagini.

aigc-apps
โญ 2,337 Python ๐Ÿ‘ค aigc-apps Organization ๐Ÿ• Aggiornato 2026-11-19 ๐Ÿ“… Creato 2024-09-10
54
AmberLJC/LLMSys-PaperList

Elenco di articoli sui sistemi di modelli linguistici di grandi dimensioni (LLM)

AmberLJC
โญ 2,332 Python ๐Ÿ‘ค AmberLJC User ๐Ÿ• Aggiornato 2026-10-20 ๐Ÿ“… Creato 2023-06-06
55
ByteDance-Seed/VeOmni

VeOmni: Scalare l'addestramento di modelli di qualsiasi modalitร  con una libreria distribuita di ricette incentrata sul modello

ByteDance-Seed
โญ 2,299 Python ๐Ÿ‘ค ByteDance-Seed Organization ๐Ÿ• Aggiornato 2026-11-21 ๐Ÿ“… Creato 2025-03-28
56
PrimeIntellect-ai/prime-rl

Addestramento RL Agentico su Larga Scala

PrimeIntellect-ai
โญ 2,268 Python ๐Ÿ‘ค PrimeIntellect-ai Organization ๐Ÿ• Aggiornato 2026-11-21 ๐Ÿ“… Creato 2025-02-18
57
cfregly/ai-performance-engineering

Codice, laboratori e risorse per O'Reilly AI Systems Performance Engineering: ottimizzazione GPU, addestramento distribuito, scalabilitร  dell'inferenza e ottimizzazione full-stack.

cfregly
โญ 2,233 Python ๐Ÿ‘ค cfregly User ๐Ÿ• Aggiornato 2026-11-19 ๐Ÿ“… Creato 2025-04-21
58
NVIDIA-NeMo/RL

Toolkit scalabile per un rinforzo efficiente dei modelli

NVIDIA-NeMo
โญ 2,146 Python ๐Ÿ‘ค NVIDIA-NeMo Organization ๐Ÿ• Aggiornato 2026-11-21 ๐Ÿ“… Creato 2025-03-16
59
km1994/LLMsNineStoryDemonTower

ใ€LLMs Nove Livelli Torre Demoneใ€‘Condivisione di esperienze pratiche e conoscenze su LLMs in campi come l'elaborazione del linguaggio naturale (ChatGLM, Chinese-LLaMA-Alpaca, Xiaoyangtuo Vicuna, LLaMA, GPT4ALL, ecc.), recupero delle informazioni (langchain), sintesi vocale, riconoscimento vocale, multimodale (Stable Diffusion, MiniGPT-4, VisualGLM-6B, Ziya-Visual, ecc.).

km1994
โญ 2,140 ๐Ÿ‘ค km1994 User ๐Ÿ• Aggiornato 2024-03-30 ๐Ÿ“… Creato 2023-05-01
60
epfLLM/meditron

Meditron รจ una suite di Large Language Models (LLM) open-source per uso medico.

epfLLM
โญ 2,125 Python ๐Ÿ‘ค epfLLM Organization ๐Ÿ• Aggiornato 2024-04-10 ๐Ÿ“… Creato 2023-11-23
61
aceliuchanghong/FAQ_Of_LLM_Interview

Domande di colloquio per posizioni di algoritmi di grandi modelli (con risposte): domande frequenti e analisi dei concetti "Domande di colloquio su grandi modelli", "Colloquio per posizioni di algoritmi", "Domande frequenti ai colloqui", "Colloquio su algoritmi di grandi modelli", "Basi delle applicazioni di grandi modelli"

aceliuchanghong
โญ 2,064 Jupyter Notebook ๐Ÿ‘ค aceliuchanghong User ๐Ÿ• Aggiornato 2026-09-17 ๐Ÿ“… Creato 2024-03-13
62
NUS-HPC-AI-Lab/VideoSys

VideoSys: Un sistema facile ed efficiente per la generazione di video

NUS-HPC-AI-Lab
โญ 2,022 Python ๐Ÿ‘ค NUS-HPC-AI-Lab Organization ๐Ÿ• Aggiornato 2025-08-27 ๐Ÿ“… Creato 2024-02-17
63
LTH14/mar

Implementazione PyTorch di MAR+DiffLoss https://arxiv.org/abs/2406.11838

LTH14
โญ 1,956 Python ๐Ÿ‘ค LTH14 User ๐Ÿ• Aggiornato 2026-02-20 ๐Ÿ“… Creato 2024-07-24
64
flexflow/flexflow-train

Scoperta automatica di strategie di parallelizzazione veloci per l'addestramento distribuito di reti neurali profonde

flexflow
โญ 1,900 C++ ๐Ÿ‘ค flexflow Organization ๐Ÿ• Aggiornato 2026-11-20 ๐Ÿ“… Creato 2018-12-08
65
laekov/fastmoe

Un'implementazione MoE veloce per PyTorch

laekov
โญ 1,853 Python ๐Ÿ‘ค laekov User ๐Ÿ• Aggiornato 2025-02-10 ๐Ÿ“… Creato 2021-01-25
โญ 1,837 Python ๐Ÿ‘ค ytongbai User ๐Ÿ• Aggiornato 2024-06-28 ๐Ÿ“… Creato 2023-04-05
67
allenai/Olmo-core

Blocchi costitutivi PyTorch per l'ecosistema OLMo

allenai
โญ 1,810 Python ๐Ÿ‘ค allenai Organization ๐Ÿ• Aggiornato 2026-11-21 ๐Ÿ“… Creato 2024-03-23
68
facebookresearch/coconut

Addestramento di modelli linguistici di grandi dimensioni per ragionare in uno spazio latente continuo

facebookresearch
โญ 1,752 Python ๐Ÿ‘ค facebookresearch Organization ๐Ÿ• Aggiornato 2026-07-02 ๐Ÿ“… Creato 2025-01-15
โญ 1,711 Cuda ๐Ÿ‘ค NVIDIA Organization ๐Ÿ• Aggiornato 2026-10-05 ๐Ÿ“… Creato 2017-08-08
70
intelligent-machine-learning/dlrover

DLRover: Un sistema distribuito automatico di deep learning

intelligent-machine-learning
โญ 1,695 Python ๐Ÿ‘ค intelligent-machine-learning Organization ๐Ÿ• Aggiornato 2026-11-17 ๐Ÿ“… Creato 2022-06-24
71
gensyn-ai/rl-swarm

Un framework completamente open source per la creazione di sciami di addestramento RL su Internet.

gensyn-ai
โญ 1,673 Python ๐Ÿ‘ค gensyn-ai Organization ๐Ÿ• Aggiornato 2026-11-16 ๐Ÿ“… Creato 2025-02-25
72
tczhangzhi/pytorch-distributed

Una guida di avvio rapido e benchmark per il training distribuito di PyTorch.

tczhangzhi
โญ 1,665 Python ๐Ÿ‘ค tczhangzhi User ๐Ÿ• Aggiornato 2024-07-25 ๐Ÿ“… Creato 2019-12-20
73
XueFuzhao/OpenMoE

Una famiglia di Large Language Models Mixture-of-Experts (MoE) open-source

XueFuzhao
โญ 1,648 Python ๐Ÿ‘ค XueFuzhao User ๐Ÿ• Aggiornato 2024-03-08 ๐Ÿ“… Creato 2023-08-08
74
alibaba/Pai-Megatron-Patch

Il repository ufficiale di Pai-Megatron-Patch per l'addestramento su larga scala di LLM e VLM sviluppato da Alibaba Cloud.

alibaba
โญ 1,601 Python ๐Ÿ‘ค alibaba Organization ๐Ÿ• Aggiornato 2025-12-15 ๐Ÿ“… Creato 2023-09-04
75
EvolvingLMMs-Lab/open-r1-multimodal

Un fork per aggiungere l'addestramento di modelli multimodali a open-r1

EvolvingLMMs-Lab
โญ 1,556 Python ๐Ÿ‘ค EvolvingLMMs-Lab Organization ๐Ÿ• Aggiornato 2025-02-08 ๐Ÿ“… Creato 2025-01-27
76
AnswerDotAI/fsdp_qlora

Addestramento di LLM con QLoRA + FSDP

AnswerDotAI
โญ 1,534 Jupyter Notebook ๐Ÿ‘ค AnswerDotAI Organization ๐Ÿ• Aggiornato 2024-11-09 ๐Ÿ“… Creato 2024-01-14
77
Tencent/TFace

Una piattaforma di ricerca affidabile per l'analisi facciale sviluppata dal Tencent Youtu Lab

Tencent
โญ 1,524 Python ๐Ÿ‘ค Tencent Organization ๐Ÿ• Aggiornato 2025-12-11 ๐Ÿ“… Creato 2021-05-20
78
MoonshotAI/Moonlight

Muon รจ scalabile per l'addestramento di LLM

MoonshotAI
โญ 1,523 ๐Ÿ‘ค MoonshotAI Organization ๐Ÿ• Aggiornato 2025-08-03 ๐Ÿ“… Creato 2025-02-22
79
fastnlp/fitlog

fitlog รจ uno strumento utilizzato nel training di deep learning per aiutare gli utenti a registrare log e gestire il codice.

fastnlp
โญ 1,517 Python ๐Ÿ‘ค fastnlp Organization ๐Ÿ• Aggiornato 2024-01-16 ๐Ÿ“… Creato 2019-04-03
80
Lightning-AI/lightning-thunder

Compilatore PyTorch che accelera l'addestramento e l'inferenza. Ottieni ottimizzazioni integrate per prestazioni, memoria, parallelismo e scrivi facilmente le tue.

Lightning-AI
โญ 1,476 Python ๐Ÿ‘ค Lightning-AI Organization ๐Ÿ• Aggiornato 2026-10-12 ๐Ÿ“… Creato 2024-03-18
81
pytorch/gloo

Libreria di comunicazione collettiva con varie primitive per l'addestramento multi-macchina.

pytorch
โญ 1,469 C++ ๐Ÿ‘ค pytorch Organization ๐Ÿ• Aggiornato 2026-11-18 ๐Ÿ“… Creato 2017-02-03
82
kubeflow/examples

Un repository per ospitare esempi e tutorial estesi

kubeflow
โญ 1,463 Jsonnet ๐Ÿ‘ค kubeflow Organization ๐Ÿ• Aggiornato 2025-04-14 ๐Ÿ“… Creato 2018-02-01
โญ 1,368 ๐Ÿ‘ค meituan-longcat Organization ๐Ÿ• Aggiornato 2026-06-23 ๐Ÿ“… Creato 2025-08-30
85
mapillary/inplace_abn

BatchNorm Attivato In-Place per l'Addestramento Ottimizzato per la Memoria di DNN

mapillary
โญ 1,331 Python ๐Ÿ‘ค mapillary Organization ๐Ÿ• Aggiornato 2026-11-18 ๐Ÿ“… Creato 2017-11-23
โญ 1,323 Python ๐Ÿ‘ค ChenmienTan User ๐Ÿ• Aggiornato 2026-05-20 ๐Ÿ“… Creato 2025-04-04
87
XueFuzhao/awesome-mixture-of-experts

Una raccolta di cose FANTASTICHE sugli esperti misti

XueFuzhao
โญ 1,247 ๐Ÿ‘ค XueFuzhao User ๐Ÿ• Aggiornato 2024-12-08 ๐Ÿ“… Creato 2022-03-30
88
LTH14/fractalgen

Implementazione PyTorch di FractalGen https://arxiv.org/abs/2502.17437

LTH14
โญ 1,238 Python ๐Ÿ‘ค LTH14 User ๐Ÿ• Aggiornato 2025-02-25 ๐Ÿ“… Creato 2025-02-18
โญ 1,216 Python ๐Ÿ‘ค Cerebras Organization ๐Ÿ• Aggiornato 2026-09-01 ๐Ÿ“… Creato 2022-04-08
90
DeepRec-AI/DeepRec

DeepRec รจ un framework di deep learning per raccomandazioni ad alte prestazioni basato su TensorFlow. รˆ ospitato in incubazione nella LF AI & Data Foundation.

DeepRec-AI
โญ 1,183 C++ ๐Ÿ‘ค DeepRec-AI Organization ๐Ÿ• Aggiornato 2025-01-21 ๐Ÿ“… Creato 2021-12-24
91
deepseek-ai/profile-data

Analizzare la sovrapposizione calcolo-comunicazione in V3/R1.

deepseek-ai
โญ 1,159 ๐Ÿ‘ค deepseek-ai Organization ๐Ÿ• Aggiornato 2025-03-21 ๐Ÿ“… Creato 2025-02-26
92
gpu-mode/awesomeMLSys

Un elenco di onboarding per sistemi ML

gpu-mode
โญ 1,154 ๐Ÿ‘ค gpu-mode Organization ๐Ÿ• Aggiornato 2026-02-19 ๐Ÿ“… Creato 2024-05-06
93
HITsz-TMG/Uni-MoE

Uni-MoE: La famiglia di modelli multimodali di grandi dimensioni di Lychee.

HITsz-TMG
โญ 1,120 Python ๐Ÿ‘ค HITsz-TMG Organization ๐Ÿ• Aggiornato 2026-08-06 ๐Ÿ“… Creato 2024-03-04
94
arcee-ai/DistillKit

Un toolkit open source per la distillazione LLM

arcee-ai
โญ 1,095 Python ๐Ÿ‘ค arcee-ai Organization ๐Ÿ• Aggiornato 2026-05-12 ๐Ÿ“… Creato 2024-07-31
95
open-gigaai/giga-train

GigaTrain: Un Framework di Addestramento Efficiente e Scalabile per Modelli di IA

open-gigaai
โญ 1,074 Python ๐Ÿ‘ค open-gigaai Organization ๐Ÿ• Aggiornato 2026-08-25 ๐Ÿ“… Creato 2025-09-26
96
zhuzilin/ring-flash-attention

Implementazione dell'attenzione ad anello con flash attention

zhuzilin
โญ 1,054 Python ๐Ÿ‘ค zhuzilin User ๐Ÿ• Aggiornato 2025-09-10 ๐Ÿ“… Creato 2024-02-21
97
mryab/efficient-dl-systems

Materiali del corso sui sistemi di deep learning efficienti

mryab
โญ 1,052 Jupyter Notebook ๐Ÿ‘ค mryab User ๐Ÿ• Aggiornato 2026-05-28 ๐Ÿ“… Creato 2021-12-06
98
isaac-sim/OmniIsaacGymEnvs

Ambienti di Reinforcement Learning per Omniverse Isaac Gym

isaac-sim
โญ 1,020 Python ๐Ÿ‘ค isaac-sim Organization ๐Ÿ• Aggiornato 2024-06-06 ๐Ÿ“… Creato 2022-06-01
99
PsycheFoundation/nousnet

Un'infrastruttura aperta per democratizzare e decentralizzare lo sviluppo della superintelligenza per l'umanitร .

PsycheFoundation
โญ 983 Rust ๐Ÿ‘ค PsycheFoundation Organization ๐Ÿ• Aggiornato 2026-03-24 ๐Ÿ“… Creato 2025-01-23
100
SandAI-org/MagiAttention

Attenzione distribuita verso la scalabilitร  lineare per l'addestramento su contesti ultra-lunghi e dati eterogenei

SandAI-org
โญ 975 Python ๐Ÿ‘ค SandAI-org Organization ๐Ÿ• Aggiornato 2026-11-21 ๐Ÿ“… Creato 2025-04-20