#distributed-training Repositórios
147 repositórios no total
📹 Uma estrutura mais flexível que pode gerar vídeos em qualquer resolução e criar vídeos a partir de imagens.
VeOmni: Escalando o Treinamento de Modelos de Qualquer Modalidade com um Zoo de Receitas Distribuídas Centrado no Modelo
Código, laboratórios e recursos para O'Reilly AI Systems Performance Engineering: otimização de GPU, treinamento distribuído, escalonamento de inferência e ajuste full-stack.
【LLMs Nine-Story Demon Tower】Compartilhando práticas e experiências de LLMs nas áreas de Processamento de Linguagem Natural (ChatGLM, Chinese-LLaMA-Alpaca, Vicuna, LLaMA, GPT4ALL, etc.), Recuperação de Informação (langchain), Síntese de Linguagem, Reconhecimento de Linguagem, Multimodalidade (Stable Diffusion, MiniGPT-4, VisualGLM-6B, Ziya-Visual, etc.).
Meditron é um conjunto de Modelos de Linguagem Grandes (LLMs) médicos de código aberto.
Perguntas de Entrevista para Posições de Algoritmo em Modelos Grandes (com Respostas): Perguntas Frequentes e Análise de Conceitos "Perguntas de Entrevista para Modelos Grandes", "Entrevista para Posição de Algoritmo", "Perguntas Comuns de Entrevista", "Entrevista de Algoritmo para Modelos Grandes", "Fundamentos de Aplicações de Modelos Grandes"
Descoberta Automática de Estratégias Rápidas de Paralelização para Treinamento Distribuído de Redes Neurais Profundas
Treinando um Grande Modelo de Linguagem para Raciocinar em um Espaço Latente Contínuo
DLRover: Um Sistema Distribuído Automático de Aprendizado Profundo
Um framework totalmente de código aberto para criar enxames de treinamento de RL pela internet.
Um guia de início rápido e benchmark para treinamento distribuído do PyTorch.
Uma família de Modelos de Linguagem Grandes (LLMs) de Mistura de Especialistas (MoE) de código aberto
O repositório oficial do Pai-Megatron-Patch para treinamento em larga escala de LLM e VLM desenvolvido pela Alibaba Cloud.
Um fork para adicionar treinamento de modelo multimodal ao open-r1
Uma confiável plataforma de pesquisa de análise facial desenvolvida pelo Tencent Youtu Lab
Fitlog é uma ferramenta usada no treinamento de aprendizado profundo para ajudar os usuários a registrar logs e gerenciar código.
Compilador PyTorch que acelera o treinamento e a inferência. Obtenha otimizações integradas para desempenho, memória, paralelismo e escreva facilmente as suas próprias.
Biblioteca de comunicação coletiva com vários primitivos para treinamento em várias máquinas.
DeepRec é um framework de deep learning de recomendação de alto desempenho baseado no TensorFlow. Ele está em fase de incubação na LF AI & Data Foundation.
GigaTrain: Uma Estrutura de Treinamento Eficiente e Escalável para Modelos de IA
Uma infraestrutura aberta para democratizar e descentralizar o desenvolvimento da superinteligência para a humanidade.
Uma Atenção Distribuída para a Escalabilidade Linear em Contextos Ultralongos e Treinamento de Dados Heterogêneos