Git Stars Git Stars

#distributed-training Repositórios

147
Total de Repositórios
615,835
Total de estrelas
4,189
Média de Estrelas/Repositório

147 repositórios no total

51
google/tunix

Uma biblioteca leve de pós-treinamento para LLM

google
⭐ 2,516 Python 👤 google Organization 🕐 Atualizado 2026-11-21 📅 Criado 2025-04-02
52
Unakar/Logic-RL

Reproduzir R1 Zero em Quebra-Cabeça Lógico

Unakar
⭐ 2,451 Python 👤 Unakar User 🕐 Atualizado 2025-03-20 📅 Criado 2025-02-02
53
aigc-apps/VideoX-Fun

📹 Uma estrutura mais flexível que pode gerar vídeos em qualquer resolução e criar vídeos a partir de imagens.

aigc-apps
⭐ 2,337 Python 👤 aigc-apps Organization 🕐 Atualizado 2026-11-19 📅 Criado 2024-09-10
54
AmberLJC/LLMSys-PaperList

Lista de Artigos sobre Sistemas de Grandes Modelos de Linguagem (LLM)

AmberLJC
⭐ 2,332 Python 👤 AmberLJC User 🕐 Atualizado 2026-10-20 📅 Criado 2023-06-06
55
ByteDance-Seed/VeOmni

VeOmni: Escalando o Treinamento de Modelos de Qualquer Modalidade com um Zoo de Receitas Distribuídas Centrado no Modelo

ByteDance-Seed
⭐ 2,299 Python 👤 ByteDance-Seed Organization 🕐 Atualizado 2026-11-21 📅 Criado 2025-03-28
56
PrimeIntellect-ai/prime-rl

Treinamento RL Agentivo em Grande Escala

PrimeIntellect-ai
⭐ 2,268 Python 👤 PrimeIntellect-ai Organization 🕐 Atualizado 2026-11-21 📅 Criado 2025-02-18
57
cfregly/ai-performance-engineering

Código, laboratórios e recursos para O'Reilly AI Systems Performance Engineering: otimização de GPU, treinamento distribuído, escalonamento de inferência e ajuste full-stack.

cfregly
⭐ 2,233 Python 👤 cfregly User 🕐 Atualizado 2026-11-19 📅 Criado 2025-04-21
58
NVIDIA-NeMo/RL

Kit de ferramentas escalável para reforço eficiente de modelos

NVIDIA-NeMo
⭐ 2,146 Python 👤 NVIDIA-NeMo Organization 🕐 Atualizado 2026-11-21 📅 Criado 2025-03-16
59
km1994/LLMsNineStoryDemonTower

【LLMs Nine-Story Demon Tower】Compartilhando práticas e experiências de LLMs nas áreas de Processamento de Linguagem Natural (ChatGLM, Chinese-LLaMA-Alpaca, Vicuna, LLaMA, GPT4ALL, etc.), Recuperação de Informação (langchain), Síntese de Linguagem, Reconhecimento de Linguagem, Multimodalidade (Stable Diffusion, MiniGPT-4, VisualGLM-6B, Ziya-Visual, etc.).

km1994
⭐ 2,140 👤 km1994 User 🕐 Atualizado 2024-03-30 📅 Criado 2023-05-01
60
epfLLM/meditron

Meditron é um conjunto de Modelos de Linguagem Grandes (LLMs) médicos de código aberto.

epfLLM
⭐ 2,125 Python 👤 epfLLM Organization 🕐 Atualizado 2024-04-10 📅 Criado 2023-11-23
61
aceliuchanghong/FAQ_Of_LLM_Interview

Perguntas de Entrevista para Posições de Algoritmo em Modelos Grandes (com Respostas): Perguntas Frequentes e Análise de Conceitos "Perguntas de Entrevista para Modelos Grandes", "Entrevista para Posição de Algoritmo", "Perguntas Comuns de Entrevista", "Entrevista de Algoritmo para Modelos Grandes", "Fundamentos de Aplicações de Modelos Grandes"

aceliuchanghong
⭐ 2,064 Jupyter Notebook 👤 aceliuchanghong User 🕐 Atualizado 2026-09-17 📅 Criado 2024-03-13
62
NUS-HPC-AI-Lab/VideoSys

VideoSys: Um sistema fácil e eficiente para a geração de vídeos

NUS-HPC-AI-Lab
⭐ 2,022 Python 👤 NUS-HPC-AI-Lab Organization 🕐 Atualizado 2025-08-27 📅 Criado 2024-02-17
63
LTH14/mar

Implementação em PyTorch de MAR+DiffLoss https://arxiv.org/abs/2406.11838

LTH14
⭐ 1,956 Python 👤 LTH14 User 🕐 Atualizado 2026-02-20 📅 Criado 2024-07-24
64
flexflow/flexflow-train

Descoberta Automática de Estratégias Rápidas de Paralelização para Treinamento Distribuído de Redes Neurais Profundas

flexflow
⭐ 1,900 C++ 👤 flexflow Organization 🕐 Atualizado 2026-11-20 📅 Criado 2018-12-08
65
laekov/fastmoe

Uma implementação rápida de MoE para PyTorch

laekov
⭐ 1,853 Python 👤 laekov User 🕐 Atualizado 2025-02-10 📅 Criado 2021-01-25
67
allenai/Olmo-core

Blocos de construção PyTorch para o ecossistema OLMo

allenai
⭐ 1,810 Python 👤 allenai Organization 🕐 Atualizado 2026-11-21 📅 Criado 2024-03-23
68
facebookresearch/coconut

Treinando um Grande Modelo de Linguagem para Raciocinar em um Espaço Latente Contínuo

facebookresearch
⭐ 1,752 Python 👤 facebookresearch Organization 🕐 Atualizado 2026-07-02 📅 Criado 2025-01-15
69
NVIDIA
⭐ 1,711 Cuda 👤 NVIDIA Organization 🕐 Atualizado 2026-10-05 📅 Criado 2017-08-08
70
intelligent-machine-learning/dlrover

DLRover: Um Sistema Distribuído Automático de Aprendizado Profundo

intelligent-machine-learning
⭐ 1,695 Python 👤 intelligent-machine-learning Organization 🕐 Atualizado 2026-11-17 📅 Criado 2022-06-24
71
gensyn-ai/rl-swarm

Um framework totalmente de código aberto para criar enxames de treinamento de RL pela internet.

gensyn-ai
⭐ 1,673 Python 👤 gensyn-ai Organization 🕐 Atualizado 2026-11-16 📅 Criado 2025-02-25
72
tczhangzhi/pytorch-distributed

Um guia de início rápido e benchmark para treinamento distribuído do PyTorch.

tczhangzhi
⭐ 1,665 Python 👤 tczhangzhi User 🕐 Atualizado 2024-07-25 📅 Criado 2019-12-20
73
XueFuzhao/OpenMoE

Uma família de Modelos de Linguagem Grandes (LLMs) de Mistura de Especialistas (MoE) de código aberto

XueFuzhao
⭐ 1,648 Python 👤 XueFuzhao User 🕐 Atualizado 2024-03-08 📅 Criado 2023-08-08
74
alibaba/Pai-Megatron-Patch

O repositório oficial do Pai-Megatron-Patch para treinamento em larga escala de LLM e VLM desenvolvido pela Alibaba Cloud.

alibaba
⭐ 1,601 Python 👤 alibaba Organization 🕐 Atualizado 2025-12-15 📅 Criado 2023-09-04
75
EvolvingLMMs-Lab/open-r1-multimodal

Um fork para adicionar treinamento de modelo multimodal ao open-r1

EvolvingLMMs-Lab
⭐ 1,556 Python 👤 EvolvingLMMs-Lab Organization 🕐 Atualizado 2025-02-08 📅 Criado 2025-01-27
76
AnswerDotAI/fsdp_qlora

Treinamento de LLMs com QLoRA + FSDP

AnswerDotAI
⭐ 1,534 Jupyter Notebook 👤 AnswerDotAI Organization 🕐 Atualizado 2024-11-09 📅 Criado 2024-01-14
77
Tencent/TFace

Uma confiável plataforma de pesquisa de análise facial desenvolvida pelo Tencent Youtu Lab

Tencent
⭐ 1,524 Python 👤 Tencent Organization 🕐 Atualizado 2025-12-11 📅 Criado 2021-05-20
78
MoonshotAI/Moonlight

Muon é Escalável para Treinamento de LLM

MoonshotAI
⭐ 1,523 👤 MoonshotAI Organization 🕐 Atualizado 2025-08-03 📅 Criado 2025-02-22
79
fastnlp/fitlog

Fitlog é uma ferramenta usada no treinamento de aprendizado profundo para ajudar os usuários a registrar logs e gerenciar código.

fastnlp
⭐ 1,517 Python 👤 fastnlp Organization 🕐 Atualizado 2024-01-16 📅 Criado 2019-04-03
80
Lightning-AI/lightning-thunder

Compilador PyTorch que acelera o treinamento e a inferência. Obtenha otimizações integradas para desempenho, memória, paralelismo e escreva facilmente as suas próprias.

Lightning-AI
⭐ 1,476 Python 👤 Lightning-AI Organization 🕐 Atualizado 2026-10-12 📅 Criado 2024-03-18
81
pytorch/gloo

Biblioteca de comunicação coletiva com vários primitivos para treinamento em várias máquinas.

pytorch
⭐ 1,469 C++ 👤 pytorch Organization 🕐 Atualizado 2026-11-18 📅 Criado 2017-02-03
82
kubeflow/examples

Um repositório para hospedar exemplos estendidos e tutoriais

kubeflow
⭐ 1,463 Jsonnet 👤 kubeflow Organization 🕐 Atualizado 2025-04-14 📅 Criado 2018-02-01
85
mapillary/inplace_abn

BatchNorm Ativada no Local para Treinamento Otimizado em Memória de DNNs

mapillary
⭐ 1,331 Python 👤 mapillary Organization 🕐 Atualizado 2026-11-18 📅 Criado 2017-11-23
87
XueFuzhao/awesome-mixture-of-experts

Uma coleção de coisas INCRÍVEIS sobre mixture-of-experts

XueFuzhao
⭐ 1,247 👤 XueFuzhao User 🕐 Atualizado 2024-12-08 📅 Criado 2022-03-30
88
LTH14/fractalgen

Implementação em PyTorch do FractalGen https://arxiv.org/abs/2502.17437

LTH14
⭐ 1,238 Python 👤 LTH14 User 🕐 Atualizado 2025-02-25 📅 Criado 2025-02-18
90
DeepRec-AI/DeepRec

DeepRec é um framework de deep learning de recomendação de alto desempenho baseado no TensorFlow. Ele está em fase de incubação na LF AI & Data Foundation.

DeepRec-AI
⭐ 1,183 C++ 👤 DeepRec-AI Organization 🕐 Atualizado 2025-01-21 📅 Criado 2021-12-24
91
deepseek-ai/profile-data

Analisar a sobreposição computação-comunicação em V3/R1.

deepseek-ai
⭐ 1,159 👤 deepseek-ai Organization 🕐 Atualizado 2025-03-21 📅 Criado 2025-02-26
92
gpu-mode/awesomeMLSys

Uma lista de integração de sistemas de ML

gpu-mode
⭐ 1,154 👤 gpu-mode Organization 🕐 Atualizado 2026-02-19 📅 Criado 2024-05-06
93
HITsz-TMG/Uni-MoE

Uni-MoE: A Família de Modelos Multimodais Grandes da Lychee.

HITsz-TMG
⭐ 1,120 Python 👤 HITsz-TMG Organization 🕐 Atualizado 2026-08-06 📅 Criado 2024-03-04
94
arcee-ai/DistillKit

Uma Caixa de Ferramentas de Código Aberto Para Destilação de LLMs

arcee-ai
⭐ 1,095 Python 👤 arcee-ai Organization 🕐 Atualizado 2026-05-12 📅 Criado 2024-07-31
95
open-gigaai/giga-train

GigaTrain: Uma Estrutura de Treinamento Eficiente e Escalável para Modelos de IA

open-gigaai
⭐ 1,074 Python 👤 open-gigaai Organization 🕐 Atualizado 2026-08-25 📅 Criado 2025-09-26
96
zhuzilin/ring-flash-attention

Implementação de atenção com atenção flash

zhuzilin
⭐ 1,054 Python 👤 zhuzilin User 🕐 Atualizado 2025-09-10 📅 Criado 2024-02-21
97
mryab/efficient-dl-systems

Materiais do curso de sistemas eficientes de aprendizado profundo

mryab
⭐ 1,052 Jupyter Notebook 👤 mryab User 🕐 Atualizado 2026-05-28 📅 Criado 2021-12-06
98
isaac-sim/OmniIsaacGymEnvs

Ambientes de Aprendizagem por Reforço para Omniverse Isaac Gym

isaac-sim
⭐ 1,020 Python 👤 isaac-sim Organization 🕐 Atualizado 2024-06-06 📅 Criado 2022-06-01
99
PsycheFoundation/nousnet

Uma infraestrutura aberta para democratizar e descentralizar o desenvolvimento da superinteligência para a humanidade.

PsycheFoundation
⭐ 983 Rust 👤 PsycheFoundation Organization 🕐 Atualizado 2026-03-24 📅 Criado 2025-01-23
100
SandAI-org/MagiAttention

Uma Atenção Distribuída para a Escalabilidade Linear em Contextos Ultralongos e Treinamento de Dados Heterogêneos

SandAI-org
⭐ 975 Python 👤 SandAI-org Organization 🕐 Atualizado 2026-11-21 📅 Criado 2025-04-20