Git Stars Git Stars

#pretraining Repositórios

Descubra 22 repositórios ativos de código aberto no GitHub marcados com #pretraining, acumulando um total de 150,107 estrelas (uma média de 6,823 por projeto). O líder deste tópico é rasbt/LLMs-from-scratch, com 108,745 estrelas.

22
Total de Repositórios
150,107
Total de estrelas
6,823
Média de Estrelas/Repositório
Linguagens de programação: Python Jupyter Notebook

22 repositórios no total

1
rasbt/LLMs-from-scratch

Implementar um LLM semelhante ao ChatGPT em PyTorch do zero, passo a passo

rasbt
⭐ 108,745 Jupyter Notebook 👤 rasbt User 🕐 Atualizado 2026-11-20 📅 Criado 2023-07-23
2
LlamaChinese/Llama-Chinese

A Comunidade Llama em Chinês agrega em tempo real os materiais de estudo Llama mais recentes, construindo o melhor ecossistema de código aberto para o Grande Modelo Llama em chinês, sendo totalmente open source e comercialmente utilizável.

LlamaChinese
⭐ 14,712 Python 👤 LlamaChinese Organization 🕐 Atualizado 2025-04-06 📅 Criado 2023-07-19
3
microsoft/LMOps

Tecnologia geral para habilitar capacidades de IA com LLMs e MLLMs

microsoft
⭐ 4,484 Python 👤 microsoft Organization 🕐 Atualizado 2026-09-15 📅 Criado 2022-12-13
4
OFA-Sys/OFA

Repositório oficial do OFA (ICML 2022). Artigo: OFA: Unificando Arquiteturas, Tarefas e Modalidades Através de uma Estrutura Simples de Aprendizagem Sequência-para-Sequência

OFA-Sys
⭐ 2,550 Python 👤 OFA-Sys Organization 🕐 Atualizado 2024-04-24 📅 Criado 2022-01-29
5
X-PLUG/mPLUG-Owl

mPLUG-Owl: A Família Poderosa de Modelos de Linguagem Grandes Multimodais

X-PLUG
⭐ 2,541 Python 👤 X-PLUG Organization 🕐 Atualizado 2025-04-02 📅 Criado 2023-04-25
6
sapientinc/HRM-Text

HRM-Text é um modelo de geração de texto de 1 bilhão de parâmetros baseado na arquitetura HRM, fortalecido pela conclusão de tarefas e raciocínio no espaço latente.

sapientinc
⭐ 2,341 Python 👤 sapientinc Organization 🕐 Atualizado 2026-09-21 📅 Criado 2026-05-18
7
ChandlerBang/awesome-self-supervised-gnn

Artigos sobre pré-treinamento e aprendizado autossupervisionado em Redes Neurais de Grafos (GNN).

ChandlerBang
⭐ 1,704 Python 👤 ChandlerBang User 🕐 Atualizado 2024-02-02 📅 Criado 2020-05-27
8
keyu-tian/SparK

[Destaque ICLR'23🔥] O primeiro pré-treinamento bem-sucedido no estilo BERT/MAE em qualquer rede convolucional; Implementação em Pytorch de "Projetando BERT para Redes Convolucionais: Modelagem Mascarada Esparsa e Hierárquica"

keyu-tian
⭐ 1,363 Python 👤 keyu-tian User 🕐 Atualizado 2024-01-23 📅 Criado 2023-01-05
9
InternScience/GraphGen

GraphGen: Aprimorando o Ajuste Fino Supervisionado para LLMs com Geração de Dados Sintéticos Orientada pelo Conhecimento

InternScience
⭐ 1,236 Python 👤 InternScience Organization 🕐 Atualizado 2026-11-08 📅 Criado 2025-01-08
10
OpenWAM-Official/OpenWAM

Repositório oficial de «OpenWAM: Uma exploração aberta e modular rumo ao pré-treinamento sistemático de modelos de mundo e ação».

OpenWAM-Official
⭐ 1,210 Python 👤 OpenWAM-Official Organization 🕐 Atualizado 2026-11-12 📅 Criado 2026-09-06
11
deepmodeling/Uni-Mol

Repositório Oficial para os Métodos da Série Uni-Mol

deepmodeling
⭐ 1,112 Python 👤 deepmodeling Organization 🕐 Atualizado 2025-05-29 📅 Criado 2022-05-22
12
seal-rg/recurrent-pretraining

Código de pré-treinamento e inferência para um modelo de linguagem recorrente em profundidade e em larga escala

seal-rg
⭐ 993 Python 👤 seal-rg Organization 🕐 Atualizado 2025-12-29 📅 Criado 2025-02-07
13
baidu-baige/LoongForge

Um framework de alto desempenho para treinar LLMs, VLMs, modelos de difusão e modelos incorporados em GPUs NVIDIA e XPUs Kunlun. Oferece suporte a Pi0.5, GR00T-N1.7, FastWAM, Cosmos3, DreamZero, DeepSeek-V4, GLM-5.3, Kimi-K3 e muito mais.

baidu-baige
⭐ 881 Python 👤 baidu-baige Organization 🕐 Atualizado 2026-11-20 📅 Criado 2026-04-23
14
PKU-YuanGroup/LanguageBind

【ICLR 2024🔥】 Estendendo o Pré-treinamento de Vídeo-Linguagem para N-modalidade por Alinhamento Semântico Baseado em Linguagem

PKU-YuanGroup
⭐ 856 Python 👤 PKU-YuanGroup Organization 🕐 Atualizado 2024-03-25 📅 Criado 2023-10-02
15
zubair-irshad/Awesome-Robotics-3D

Uma lista selecionada de artigos de Visão 3D relacionados ao domínio da Robótica na era dos grandes modelos, ou seja, LLMs/VLMs, inspirada em awesome-computer-vision, incluindo artigos, códigos e websites relacionados

zubair-irshad
⭐ 824 👤 zubair-irshad User 🕐 Atualizado 2025-12-17 📅 Criado 2024-08-12
16
zcablii/SARDet_100K

[Destaque NeurIPS 2024] Implementação oficial de MSFA e lançamento do conjunto de dados SARDet_100K para Detecção de Objetos por Radar de Abertura Sintética (SAR) em Grande Escala

zcablii
⭐ 743 Python 👤 zcablii User 🕐 Atualizado 2025-05-06 📅 Criado 2024-02-20
17
AGI-Arena/MARS

A implementação oficial do MARS: Libertando o Poder da Redução de Variância para o Treinamento de Modelos Grandes

AGI-Arena
⭐ 725 Python 👤 AGI-Arena Organization 🕐 Atualizado 2026-03-26 📅 Criado 2024-11-17
18
Coobiw/MPP-LLaVA

Projeto Pessoal: MPP-Qwen14B & MPP-Qwen-Next (Pipeline Paralelo Multimodal baseado em Qwen-LM). Suporta [video/image/multi-image] {sft/conversations}. Não deixe a pobreza limitar sua imaginação! Treine seu próprio MLLM 8B/14B semelhante ao LLaVA-training na RTX3090/4090 24GB.

Coobiw
⭐ 678 Jupyter Notebook 👤 Coobiw User 🕐 Atualizado 2025-03-10 📅 Criado 2023-10-24
19
m-bain/webvid

Conjunto de dados de texto-vídeo em larga escala. 10 milhões de vídeos curtos legendados.

m-bain
⭐ 670 Python 👤 m-bain User 🕐 Atualizado 2024-08-14 📅 Criado 2021-06-07
20
cxcscmu/Craw4LLM

Repositório oficial para "Craw4LLM: Rastreamento Web Eficiente para Pré-treinamento de LLM"

cxcscmu
⭐ 654 Python 👤 cxcscmu Organization 🕐 Atualizado 2025-02-24 📅 Criado 2025-02-17
21
westlake-repl/SaProt

Saprot: Modelo de Linguagem de Proteínas com Alfabeto Estrutural (AA+3Di)

westlake-repl
⭐ 646 Python 👤 westlake-repl Organization 🕐 Atualizado 2026-03-08 📅 Criado 2023-10-02
22
PITI-Synthesis/PITI

PITI: O pré-treinamento é tudo o que você precisa para a tradução de imagem para imagem

PITI-Synthesis
⭐ 501 Python 👤 PITI-Synthesis User 🕐 Atualizado 2024-06-02 📅 Criado 2022-05-27

Perguntas Frequentes

1

Qual é o repositório de #pretraining mais popular no GitHub?

O projeto de código aberto de #pretraining mais bem classificado no GitHub é rasbt/LLMs-from-scratch, com 108,745 estrelas. Implementar um LLM semelhante ao ChatGPT em PyTorch do zero, passo a passo

2

Quais linguagens de programação são mais usadas nos repositórios de #pretraining?

Entre os projetos de #pretraining mais bem classificados no GitHub, as linguagens de programação mais comuns são Python, Jupyter Notebook.

3

Como é calculada a classificação dos repositórios de #pretraining?

Acompanhamos 22 repositórios ativos de código aberto marcados com #pretraining (com mais de 500 estrelas), totalizando 150,107 estrelas e uma média de 6,823 estrelas por repositório. As classificações são atualizadas diariamente a partir da API do GitHub.