#pretraining Repository
Scopri 22 repository GitHub open source attivi contrassegnati con #pretraining, che raccolgono un totale di 150,107 stelle (con una media di 6,823 stelle per progetto). Il progetto leader di questo argomento è rasbt/LLMs-from-scratch, con 108,745 stelle.
22 repository in totale
Community cinese Llama, raccoglie in tempo reale gli ultimi materiali di apprendimento su Llama, costruisce il miglior ecosistema open source di modelli di grandi dimensioni Llama in cinese, completamente open source e disponibile per uso commerciale
Repository ufficiale di OFA (ICML 2022). Paper: OFA: Unifying Architectures, Tasks, and Modalities Through a Simple Sequence-to-Sequence Learning Framework
mPLUG-Owl: La potente famiglia di modelli linguistici di grandi dimensioni multimodali
HRM-Text è un modello di generazione di testo da 1 miliardo di parametri basato sull'architettura HRM, potenziato dal completamento di attività e dal ragionamento nello spazio latente.
Articoli sul pre-allenamento e sull'apprendimento auto-supervisionato su reti neurali a grafo (GNN).
[ICLR'23 Spotlight🔥] Il primo pre-training di successo in stile BERT/MAE su qualsiasi rete convoluzionale; Impl. Pytorch di "Designing BERT for Convolutional Networks: Sparse and Hierarchical Masked Modeling"
GraphGen: Miglioramento del Fine-Tuning Supervisionato per LLM con Generazione di Dati Sintetici Guidata dalla Conoscenza
Repository ufficiale di «OpenWAM: Un’esplorazione aperta e modulare verso il preaddestramento sistematico di modelli del mondo e dell’azione».
Codice di pre-addestramento e inferenza per un modello linguistico profondamente ricorrente su larga scala
Un framework ad alte prestazioni per l’addestramento di LLM, VLM, modelli di diffusione e modelli embodied su GPU NVIDIA e XPU Kunlun. Supporta Pi0.5, GR00T-N1.7, FastWAM, Cosmos3, DreamZero, DeepSeek-V4, GLM-5.3, Kimi-K3 e altri.
【ICLR 2024🔥】 Estensione del pre-addestramento video-linguaggio a N-modalità tramite allineamento semantico basato sul linguaggio
Un elenco curato di articoli sulla visione 3D relativi al dominio della robotica nell'era dei grandi modelli, ovvero LLM/VLM, ispirato da awesome-computer-vision, inclusi articoli, codici e siti Web correlati
[NeurIPS 2024 spotlight] Implementazione ufficiale di MSFA e rilascio del dataset SARDet_100K per il rilevamento di oggetti su larga scala con radar ad apertura sintetica (SAR)
L'implementazione ufficiale di MARS: Sfruttare la potenza della riduzione della varianza per l'addestramento di modelli di grandi dimensioni
Progetto Personale: MPP-Qwen14B & MPP-Qwen-Next (Multimodal Pipeline Parallelism basato su Qwen-LM). Supporta [video/image/multi-image] {sft/conversations}. Non lasciare che la povertà limiti la tua immaginazione! Addestra il tuo MLLM in stile LLaVA-training da 8B/14B su RTX3090/4090 24GB.
Repository ufficiale per "Craw4LLM: Web Crawling efficiente per il pre-addestramento LLM"
PITI: Il pre-addestramento è tutto ciò di cui hai bisogno per la traduzione da immagine a immagine
Domande frequenti
Qual è il repository #pretraining più popolare su GitHub?
Il progetto open source #pretraining più alto in classifica su GitHub è rasbt/LLMs-from-scratch, con 108,745 stelle. Implementa un LLM simile a ChatGPT in PyTorch da zero, passo dopo passo
Quali linguaggi di programmazione sono più utilizzati nei repository #pretraining?
Tra i progetti #pretraining più alti in classifica su GitHub, i linguaggi di programmazione più comuni sono Python, Jupyter Notebook.
Come viene calcolata la classifica dei repository #pretraining?
Monitoriamo 22 repository open source attivi contrassegnati con #pretraining (500+ stelle), per un totale di 150,107 stelle e una media di 6,823 stelle per repository. Le classifiche vengono aggiornate quotidianamente tramite l’API di GitHub.