#pretraining Repositorios
Descubre 22 repositorios activos de código abierto de GitHub etiquetados con #pretraining, que acumulan 150,107 estrellas en total (una media de 6,823 estrellas por proyecto). El líder de este tema es rasbt/LLMs-from-scratch, con 108,745 estrellas.
22 repositorios en total
Comunidad china Llama, compila en tiempo real los últimos materiales de aprendizaje de Llama, construye el mejor ecosistema de código abierto de grandes modelos Llama en chino, completamente de código abierto y comercializable
Repositorio oficial de OFA (ICML 2022). Paper: OFA: Unifying Architectures, Tasks, and Modalities Through a Simple Sequence-to-Sequence Learning Framework
HRM-Text es un modelo de generación de texto de 1 mil millones de parámetros basado en la arquitectura HRM, reforzado por la finalización de tareas y el razonamiento en el espacio latente.
Artículos sobre preentrenamiento y aprendizaje autosupervisado en redes neuronales de grafos (GNN).
[ICLR'23 Spotlight🔥] El primer pre-entrenamiento exitoso al estilo BERT/MAE en cualquier red neuronal convolucional; Implementación en Pytorch de "Designing BERT for Convolutional Networks: Sparse and Hierarchical Masked Modeling"
GraphGen: Mejora del ajuste fino supervisado para LLM con generación de datos sintéticos impulsada por el conocimiento
Repositorio oficial de «OpenWAM: Una exploración abierta y modular hacia el preentrenamiento sistemático de modelos del mundo y la acción».
Código de preentrenamiento e inferencia para un modelo de lenguaje profundo recurrente a gran escala
Un framework de alto rendimiento para entrenar LLM, VLM, modelos de difusión y modelos incorporados en GPU NVIDIA y XPU Kunlun. Admite Pi0.5, GR00T-N1.7, FastWAM, Cosmos3, DreamZero, DeepSeek-V4, GLM-5.3, Kimi-K3 y más.
【ICLR 2024🔥】 Extensión del preentrenamiento de video-lenguaje a N-modalidades mediante alineación semántica basada en el lenguaje
Una lista seleccionada de artículos de Visión 3D relacionados con el dominio de la Robótica en la era de los modelos grandes, es decir, LLMs/VLMs, inspirada en awesome-computer-vision, que incluye artículos, códigos y sitios web relacionados
[NeurIPS 2024 spotlight] Implementación oficial de MSFA y lanzamiento del conjunto de datos SARDet_100K para la detección de objetos de radar de apertura sintética (SAR) a gran escala
La implementación oficial de MARS: Desatando el poder de la reducción de varianza para entrenar modelos grandes
Proyecto Personal: MPP-Qwen14B & MPP-Qwen-Next (Pipeline Paralelo Multimodal basado en Qwen-LM). Soporta [video/imagen/multi-imagen] {sft/conversations}. ¡No dejes que la pobreza limite tu imaginación! Entrena tu propio MLLM 8B/14B similar a LLaVA-training en RTX3090/4090 24GB.
Conjunto de datos de texto y video a gran escala. 10 millones de vídeos cortos subtitulados.
Repositorio oficial para "Craw4LLM: Rastreo web eficiente para preentrenamiento de LLM"
PITI: El preentrenamiento es todo lo que necesitas para la traducción de imagen a imagen
Preguntas frecuentes
¿Cuál es el repositorio de #pretraining más popular en GitHub?
El proyecto de código abierto de #pretraining mejor posicionado en GitHub es rasbt/LLMs-from-scratch, con 108,745 estrellas. Implementa un LLM similar a ChatGPT en PyTorch desde cero, paso a paso
¿Qué lenguajes de programación se utilizan más en los repositorios de #pretraining?
Entre los proyectos de #pretraining mejor posicionados en GitHub, los lenguajes de programación más comunes son Python, Jupyter Notebook.
¿Cómo se calcula la clasificación de los repositorios de #pretraining?
Seguimos 22 repositorios activos de código abierto etiquetados con #pretraining (500+ estrellas), que suman un total de 150,107 estrellas, con una media de 6,823 estrellas por repositorio. Las clasificaciones se actualizan diariamente a partir de la API de GitHub.