Git Stars Git Stars

#pretraining Repositorios

Descubre 22 repositorios activos de código abierto de GitHub etiquetados con #pretraining, que acumulan 150,107 estrellas en total (una media de 6,823 estrellas por proyecto). El líder de este tema es rasbt/LLMs-from-scratch, con 108,745 estrellas.

22
Total de Repositorios
150,107
Total de estrellas
6,823
Promedio de Estrellas/Repo
Lenguajes de programación: Python Jupyter Notebook

22 repositorios en total

1
rasbt/LLMs-from-scratch

Implementa un LLM similar a ChatGPT en PyTorch desde cero, paso a paso

rasbt
⭐ 108,745 Jupyter Notebook 👤 rasbt User 🕐 Actualizado 2026-11-20 📅 Creado 2023-07-23
2
LlamaChinese/Llama-Chinese

Comunidad china Llama, compila en tiempo real los últimos materiales de aprendizaje de Llama, construye el mejor ecosistema de código abierto de grandes modelos Llama en chino, completamente de código abierto y comercializable

LlamaChinese
⭐ 14,712 Python 👤 LlamaChinese Organization 🕐 Actualizado 2025-04-06 📅 Creado 2023-07-19
3
microsoft/LMOps

Tecnología general para habilitar capacidades de IA con LLM y MLLM

microsoft
⭐ 4,484 Python 👤 microsoft Organization 🕐 Actualizado 2026-09-15 📅 Creado 2022-12-13
4
OFA-Sys/OFA

Repositorio oficial de OFA (ICML 2022). Paper: OFA: Unifying Architectures, Tasks, and Modalities Through a Simple Sequence-to-Sequence Learning Framework

OFA-Sys
⭐ 2,550 Python 👤 OFA-Sys Organization 🕐 Actualizado 2024-04-24 📅 Creado 2022-01-29
5
X-PLUG/mPLUG-Owl

mPLUG-Owl: La potente familia de grandes modelos de lenguaje multimodales

X-PLUG
⭐ 2,541 Python 👤 X-PLUG Organization 🕐 Actualizado 2025-04-02 📅 Creado 2023-04-25
6
sapientinc/HRM-Text

HRM-Text es un modelo de generación de texto de 1 mil millones de parámetros basado en la arquitectura HRM, reforzado por la finalización de tareas y el razonamiento en el espacio latente.

sapientinc
⭐ 2,341 Python 👤 sapientinc Organization 🕐 Actualizado 2026-09-21 📅 Creado 2026-05-18
7
ChandlerBang/awesome-self-supervised-gnn

Artículos sobre preentrenamiento y aprendizaje autosupervisado en redes neuronales de grafos (GNN).

ChandlerBang
⭐ 1,704 Python 👤 ChandlerBang User 🕐 Actualizado 2024-02-02 📅 Creado 2020-05-27
8
keyu-tian/SparK

[ICLR'23 Spotlight🔥] El primer pre-entrenamiento exitoso al estilo BERT/MAE en cualquier red neuronal convolucional; Implementación en Pytorch de "Designing BERT for Convolutional Networks: Sparse and Hierarchical Masked Modeling"

keyu-tian
⭐ 1,363 Python 👤 keyu-tian User 🕐 Actualizado 2024-01-23 📅 Creado 2023-01-05
9
InternScience/GraphGen

GraphGen: Mejora del ajuste fino supervisado para LLM con generación de datos sintéticos impulsada por el conocimiento

InternScience
⭐ 1,236 Python 👤 InternScience Organization 🕐 Actualizado 2026-11-08 📅 Creado 2025-01-08
10
OpenWAM-Official/OpenWAM

Repositorio oficial de «OpenWAM: Una exploración abierta y modular hacia el preentrenamiento sistemático de modelos del mundo y la acción».

OpenWAM-Official
⭐ 1,210 Python 👤 OpenWAM-Official Organization 🕐 Actualizado 2026-11-12 📅 Creado 2026-09-06
11
deepmodeling/Uni-Mol

Repositorio Oficial para los Métodos de la Serie Uni-Mol

deepmodeling
⭐ 1,112 Python 👤 deepmodeling Organization 🕐 Actualizado 2025-05-29 📅 Creado 2022-05-22
12
seal-rg/recurrent-pretraining

Código de preentrenamiento e inferencia para un modelo de lenguaje profundo recurrente a gran escala

seal-rg
⭐ 993 Python 👤 seal-rg Organization 🕐 Actualizado 2025-12-29 📅 Creado 2025-02-07
13
baidu-baige/LoongForge

Un framework de alto rendimiento para entrenar LLM, VLM, modelos de difusión y modelos incorporados en GPU NVIDIA y XPU Kunlun. Admite Pi0.5, GR00T-N1.7, FastWAM, Cosmos3, DreamZero, DeepSeek-V4, GLM-5.3, Kimi-K3 y más.

baidu-baige
⭐ 881 Python 👤 baidu-baige Organization 🕐 Actualizado 2026-11-20 📅 Creado 2026-04-23
14
PKU-YuanGroup/LanguageBind

【ICLR 2024🔥】 Extensión del preentrenamiento de video-lenguaje a N-modalidades mediante alineación semántica basada en el lenguaje

PKU-YuanGroup
⭐ 856 Python 👤 PKU-YuanGroup Organization 🕐 Actualizado 2024-03-25 📅 Creado 2023-10-02
15
zubair-irshad/Awesome-Robotics-3D

Una lista seleccionada de artículos de Visión 3D relacionados con el dominio de la Robótica en la era de los modelos grandes, es decir, LLMs/VLMs, inspirada en awesome-computer-vision, que incluye artículos, códigos y sitios web relacionados

zubair-irshad
⭐ 824 👤 zubair-irshad User 🕐 Actualizado 2025-12-17 📅 Creado 2024-08-12
16
zcablii/SARDet_100K

[NeurIPS 2024 spotlight] Implementación oficial de MSFA y lanzamiento del conjunto de datos SARDet_100K para la detección de objetos de radar de apertura sintética (SAR) a gran escala

zcablii
⭐ 743 Python 👤 zcablii User 🕐 Actualizado 2025-05-06 📅 Creado 2024-02-20
17
AGI-Arena/MARS

La implementación oficial de MARS: Desatando el poder de la reducción de varianza para entrenar modelos grandes

AGI-Arena
⭐ 725 Python 👤 AGI-Arena Organization 🕐 Actualizado 2026-03-26 📅 Creado 2024-11-17
18
Coobiw/MPP-LLaVA

Proyecto Personal: MPP-Qwen14B & MPP-Qwen-Next (Pipeline Paralelo Multimodal basado en Qwen-LM). Soporta [video/imagen/multi-imagen] {sft/conversations}. ¡No dejes que la pobreza limite tu imaginación! Entrena tu propio MLLM 8B/14B similar a LLaVA-training en RTX3090/4090 24GB.

Coobiw
⭐ 678 Jupyter Notebook 👤 Coobiw User 🕐 Actualizado 2025-03-10 📅 Creado 2023-10-24
19
m-bain/webvid

Conjunto de datos de texto y video a gran escala. 10 millones de vídeos cortos subtitulados.

m-bain
⭐ 670 Python 👤 m-bain User 🕐 Actualizado 2024-08-14 📅 Creado 2021-06-07
20
cxcscmu/Craw4LLM

Repositorio oficial para "Craw4LLM: Rastreo web eficiente para preentrenamiento de LLM"

cxcscmu
⭐ 654 Python 👤 cxcscmu Organization 🕐 Actualizado 2025-02-24 📅 Creado 2025-02-17
21
westlake-repl/SaProt

Saprot: Modelo de lenguaje de proteínas con alfabeto estructural (AA+3Di)

westlake-repl
⭐ 646 Python 👤 westlake-repl Organization 🕐 Actualizado 2026-03-08 📅 Creado 2023-10-02
22
PITI-Synthesis/PITI

PITI: El preentrenamiento es todo lo que necesitas para la traducción de imagen a imagen

PITI-Synthesis
⭐ 501 Python 👤 PITI-Synthesis User 🕐 Actualizado 2024-06-02 📅 Creado 2022-05-27

Preguntas frecuentes

1

¿Cuál es el repositorio de #pretraining más popular en GitHub?

El proyecto de código abierto de #pretraining mejor posicionado en GitHub es rasbt/LLMs-from-scratch, con 108,745 estrellas. Implementa un LLM similar a ChatGPT en PyTorch desde cero, paso a paso

2

¿Qué lenguajes de programación se utilizan más en los repositorios de #pretraining?

Entre los proyectos de #pretraining mejor posicionados en GitHub, los lenguajes de programación más comunes son Python, Jupyter Notebook.

3

¿Cómo se calcula la clasificación de los repositorios de #pretraining?

Seguimos 22 repositorios activos de código abierto etiquetados con #pretraining (500+ estrellas), que suman un total de 150,107 estrellas, con una media de 6,823 estrellas por repositorio. Las clasificaciones se actualizan diariamente a partir de la API de GitHub.