#pretraining Repositórios
Descubra 22 repositórios ativos de código aberto no GitHub marcados com #pretraining, acumulando um total de 150,107 estrelas (uma média de 6,823 por projeto). O líder deste tópico é rasbt/LLMs-from-scratch, com 108,745 estrelas.
22 repositórios no total
Implementar um LLM semelhante ao ChatGPT em PyTorch do zero, passo a passo
A Comunidade Llama em Chinês agrega em tempo real os materiais de estudo Llama mais recentes, construindo o melhor ecossistema de código aberto para o Grande Modelo Llama em chinês, sendo totalmente open source e comercialmente utilizável.
Repositório oficial do OFA (ICML 2022). Artigo: OFA: Unificando Arquiteturas, Tarefas e Modalidades Através de uma Estrutura Simples de Aprendizagem Sequência-para-Sequência
HRM-Text é um modelo de geração de texto de 1 bilhão de parâmetros baseado na arquitetura HRM, fortalecido pela conclusão de tarefas e raciocínio no espaço latente.
Artigos sobre pré-treinamento e aprendizado autossupervisionado em Redes Neurais de Grafos (GNN).
[Destaque ICLR'23🔥] O primeiro pré-treinamento bem-sucedido no estilo BERT/MAE em qualquer rede convolucional; Implementação em Pytorch de "Projetando BERT para Redes Convolucionais: Modelagem Mascarada Esparsa e Hierárquica"
GraphGen: Aprimorando o Ajuste Fino Supervisionado para LLMs com Geração de Dados Sintéticos Orientada pelo Conhecimento
Repositório oficial de «OpenWAM: Uma exploração aberta e modular rumo ao pré-treinamento sistemático de modelos de mundo e ação».
Código de pré-treinamento e inferência para um modelo de linguagem recorrente em profundidade e em larga escala
Um framework de alto desempenho para treinar LLMs, VLMs, modelos de difusão e modelos incorporados em GPUs NVIDIA e XPUs Kunlun. Oferece suporte a Pi0.5, GR00T-N1.7, FastWAM, Cosmos3, DreamZero, DeepSeek-V4, GLM-5.3, Kimi-K3 e muito mais.
【ICLR 2024🔥】 Estendendo o Pré-treinamento de Vídeo-Linguagem para N-modalidade por Alinhamento Semântico Baseado em Linguagem
Uma lista selecionada de artigos de Visão 3D relacionados ao domínio da Robótica na era dos grandes modelos, ou seja, LLMs/VLMs, inspirada em awesome-computer-vision, incluindo artigos, códigos e websites relacionados
[Destaque NeurIPS 2024] Implementação oficial de MSFA e lançamento do conjunto de dados SARDet_100K para Detecção de Objetos por Radar de Abertura Sintética (SAR) em Grande Escala
A implementação oficial do MARS: Libertando o Poder da Redução de Variância para o Treinamento de Modelos Grandes
Projeto Pessoal: MPP-Qwen14B & MPP-Qwen-Next (Pipeline Paralelo Multimodal baseado em Qwen-LM). Suporta [video/image/multi-image] {sft/conversations}. Não deixe a pobreza limitar sua imaginação! Treine seu próprio MLLM 8B/14B semelhante ao LLaVA-training na RTX3090/4090 24GB.
Conjunto de dados de texto-vídeo em larga escala. 10 milhões de vídeos curtos legendados.
Repositório oficial para "Craw4LLM: Rastreamento Web Eficiente para Pré-treinamento de LLM"
PITI: O pré-treinamento é tudo o que você precisa para a tradução de imagem para imagem
Perguntas Frequentes
Qual é o repositório de #pretraining mais popular no GitHub?
O projeto de código aberto de #pretraining mais bem classificado no GitHub é rasbt/LLMs-from-scratch, com 108,745 estrelas. Implementar um LLM semelhante ao ChatGPT em PyTorch do zero, passo a passo
Quais linguagens de programação são mais usadas nos repositórios de #pretraining?
Entre os projetos de #pretraining mais bem classificados no GitHub, as linguagens de programação mais comuns são Python, Jupyter Notebook.
Como é calculada a classificação dos repositórios de #pretraining?
Acompanhamos 22 repositórios ativos de código aberto marcados com #pretraining (com mais de 500 estrelas), totalizando 150,107 estrelas e uma média de 6,823 estrelas por repositório. As classificações são atualizadas diariamente a partir da API do GitHub.