#pretraining Dépôts
Découvrez 22 dépôts GitHub open source actifs associés à #pretraining, cumulant 150,107 étoiles au total (soit une moyenne de 6,823 étoiles par projet). Le projet en tête de ce thème est rasbt/LLMs-from-scratch, avec 108,745 étoiles.
22 dépôts au total
Implémentez à partir de zéro un LLM de type ChatGPT dans PyTorch, étape par étape
Communauté chinoise Llama, compile en temps réel les dernières ressources d'apprentissage sur Llama, construit le meilleur écosystème open source de grands modèles Llama en chinois, entièrement open source et commercialisable
Dépôt officiel d'OFA (ICML 2022). Paper : OFA: Unifying Architectures, Tasks, and Modalities Through a Simple Sequence-to-Sequence Learning Framework
HRM-Text est un modèle de génération de texte de 1 milliard de paramètres basé sur l'architecture HRM, renforcé par l'exécution de tâches et le raisonnement dans l'espace latent.
Articles sur le pré-entraînement et l'apprentissage auto-supervisé sur les réseaux de neurones graphiques (GNN).
[ICLR'23 Spotlight🔥] Le premier pré-entraînement réussi de style BERT/MAE sur n'importe quel réseau de convolution ; Impl. Pytorch de "Designing BERT for Convolutional Networks: Sparse and Hierarchical Masked Modeling"
GraphGen : Améliorer le réglage fin supervisé pour les LLM avec la génération de données synthétiques pilotée par la connaissance
Dépôt officiel de « OpenWAM : une exploration ouverte et modulaire vers le préentraînement systématique de modèles du monde et de l’action ».
Code de pré-entraînement et d'inférence pour un modèle linguistique profond récurrent à grande échelle
Un framework haute performance pour entraîner des LLM, des VLM, des modèles de diffusion et des modèles incarnés sur des GPU NVIDIA et des XPU Kunlun. Prend en charge Pi0.5, GR00T-N1.7, FastWAM, Cosmos3, DreamZero, DeepSeek-V4, GLM-5.3, Kimi-K3 et bien d’autres.
【ICLR 2024🔥】 Extension du pré-entraînement vidéo-langage à N modalités par alignement sémantique basé sur le langage
Une liste organisée d'articles sur la vision 3D relatifs au domaine de la robotique à l'ère des grands modèles, c'est-à-dire les LLM/VLM, inspirée par awesome-computer-vision, y compris des articles, des codes et des sites Web connexes
[NeurIPS 2024 spotlight] Implémentation officielle de MSFA et publication du jeu de données SARDet_100K pour la détection d'objets radar à ouverture synthétique (SAR) à grande échelle
L'implémentation officielle de MARS : Libérer la puissance de la réduction de variance pour l'entraînement de grands modèles
Projet Personnel : MPP-Qwen14B & MPP-Qwen-Next (Pipeline Parallèle Multimodal basé sur Qwen-LM). Supporte [vidéo/image/multi-image] {sft/conversations}. Ne laissez pas la pauvreté limiter votre imagination ! Entraînez votre propre MLLM de type LLaVA-training 8B/14B sur RTX3090/4090 24 Go.
Ensemble de données texte-vidéo à grande échelle. 10 millions de courtes vidéos légendées.
PITI: Le pré-entraînement est tout ce dont vous avez besoin pour la traduction d'image à image
Foire aux questions
Quel est le dépôt #pretraining le plus populaire sur GitHub ?
Le projet #pretraining open source le mieux classé sur GitHub est rasbt/LLMs-from-scratch, avec 108,745 étoiles. Implémentez à partir de zéro un LLM de type ChatGPT dans PyTorch, étape par étape
Quels langages de programmation sont les plus utilisés dans les dépôts #pretraining ?
Parmi les projets #pretraining les mieux classés sur GitHub, les langages de programmation les plus courants sont Python, Jupyter Notebook.
Comment le classement des dépôts #pretraining est-il calculé ?
Nous suivons 22 dépôts open source actifs associés à #pretraining (500+ étoiles), totalisant 150,107 étoiles, avec une moyenne de 6,823 étoiles par dépôt. Les classements sont mis à jour quotidiennement à partir de l’API GitHub.