Git Stars Git Stars

#pretraining Dépôts

Découvrez 22 dépôts GitHub open source actifs associés à #pretraining, cumulant 150,107 étoiles au total (soit une moyenne de 6,823 étoiles par projet). Le projet en tête de ce thème est rasbt/LLMs-from-scratch, avec 108,745 étoiles.

22
Total des Dépôts
150,107
Nombre total d'étoiles
6,823
Moyenne d'Étoiles/Dépôt
Langages de programmation: Python Jupyter Notebook
1
rasbt/LLMs-from-scratch

Implémentez à partir de zéro un LLM de type ChatGPT dans PyTorch, étape par étape

rasbt
⭐ 108,745 Jupyter Notebook 👤 rasbt User 🕐 Mis à jour 2026-11-20 📅 Créé 2023-07-23
2
LlamaChinese/Llama-Chinese

Communauté chinoise Llama, compile en temps réel les dernières ressources d'apprentissage sur Llama, construit le meilleur écosystème open source de grands modèles Llama en chinois, entièrement open source et commercialisable

LlamaChinese
⭐ 14,712 Python 👤 LlamaChinese Organization 🕐 Mis à jour 2025-04-06 📅 Créé 2023-07-19
3
microsoft/LMOps

Technologie générale pour permettre les capacités d'IA avec les LLM et les MLLM

microsoft
⭐ 4,484 Python 👤 microsoft Organization 🕐 Mis à jour 2026-09-15 📅 Créé 2022-12-13
4
OFA-Sys/OFA

Dépôt officiel d'OFA (ICML 2022). Paper : OFA: Unifying Architectures, Tasks, and Modalities Through a Simple Sequence-to-Sequence Learning Framework

OFA-Sys
⭐ 2,550 Python 👤 OFA-Sys Organization 🕐 Mis à jour 2024-04-24 📅 Créé 2022-01-29
5
X-PLUG/mPLUG-Owl

mPLUG-Owl : La puissante famille de grands modèles linguistiques multimodaux

X-PLUG
⭐ 2,541 Python 👤 X-PLUG Organization 🕐 Mis à jour 2025-04-02 📅 Créé 2023-04-25
6
sapientinc/HRM-Text

HRM-Text est un modèle de génération de texte de 1 milliard de paramètres basé sur l'architecture HRM, renforcé par l'exécution de tâches et le raisonnement dans l'espace latent.

sapientinc
⭐ 2,341 Python 👤 sapientinc Organization 🕐 Mis à jour 2026-09-21 📅 Créé 2026-05-18
7
ChandlerBang/awesome-self-supervised-gnn

Articles sur le pré-entraînement et l'apprentissage auto-supervisé sur les réseaux de neurones graphiques (GNN).

ChandlerBang
⭐ 1,704 Python 👤 ChandlerBang User 🕐 Mis à jour 2024-02-02 📅 Créé 2020-05-27
8
keyu-tian/SparK

[ICLR'23 Spotlight🔥] Le premier pré-entraînement réussi de style BERT/MAE sur n'importe quel réseau de convolution ; Impl. Pytorch de "Designing BERT for Convolutional Networks: Sparse and Hierarchical Masked Modeling"

keyu-tian
⭐ 1,363 Python 👤 keyu-tian User 🕐 Mis à jour 2024-01-23 📅 Créé 2023-01-05
9
InternScience/GraphGen

GraphGen : Améliorer le réglage fin supervisé pour les LLM avec la génération de données synthétiques pilotée par la connaissance

InternScience
⭐ 1,236 Python 👤 InternScience Organization 🕐 Mis à jour 2026-11-08 📅 Créé 2025-01-08
10
OpenWAM-Official/OpenWAM

Dépôt officiel de « OpenWAM : une exploration ouverte et modulaire vers le préentraînement systématique de modèles du monde et de l’action ».

OpenWAM-Official
⭐ 1,210 Python 👤 OpenWAM-Official Organization 🕐 Mis à jour 2026-11-12 📅 Créé 2026-09-06
11
deepmodeling/Uni-Mol

Dépôt Officiel pour les Méthodes de la Série Uni-Mol

deepmodeling
⭐ 1,112 Python 👤 deepmodeling Organization 🕐 Mis à jour 2025-05-29 📅 Créé 2022-05-22
12
seal-rg/recurrent-pretraining

Code de pré-entraînement et d'inférence pour un modèle linguistique profond récurrent à grande échelle

seal-rg
⭐ 993 Python 👤 seal-rg Organization 🕐 Mis à jour 2025-12-29 📅 Créé 2025-02-07
13
baidu-baige/LoongForge

Un framework haute performance pour entraîner des LLM, des VLM, des modèles de diffusion et des modèles incarnés sur des GPU NVIDIA et des XPU Kunlun. Prend en charge Pi0.5, GR00T-N1.7, FastWAM, Cosmos3, DreamZero, DeepSeek-V4, GLM-5.3, Kimi-K3 et bien d’autres.

baidu-baige
⭐ 881 Python 👤 baidu-baige Organization 🕐 Mis à jour 2026-11-20 📅 Créé 2026-04-23
14
PKU-YuanGroup/LanguageBind

【ICLR 2024🔥】 Extension du pré-entraînement vidéo-langage à N modalités par alignement sémantique basé sur le langage

PKU-YuanGroup
⭐ 856 Python 👤 PKU-YuanGroup Organization 🕐 Mis à jour 2024-03-25 📅 Créé 2023-10-02
15
zubair-irshad/Awesome-Robotics-3D

Une liste organisée d'articles sur la vision 3D relatifs au domaine de la robotique à l'ère des grands modèles, c'est-à-dire les LLM/VLM, inspirée par awesome-computer-vision, y compris des articles, des codes et des sites Web connexes

zubair-irshad
⭐ 824 👤 zubair-irshad User 🕐 Mis à jour 2025-12-17 📅 Créé 2024-08-12
16
zcablii/SARDet_100K

[NeurIPS 2024 spotlight] Implémentation officielle de MSFA et publication du jeu de données SARDet_100K pour la détection d'objets radar à ouverture synthétique (SAR) à grande échelle

zcablii
⭐ 743 Python 👤 zcablii User 🕐 Mis à jour 2025-05-06 📅 Créé 2024-02-20
17
AGI-Arena/MARS

L'implémentation officielle de MARS : Libérer la puissance de la réduction de variance pour l'entraînement de grands modèles

AGI-Arena
⭐ 725 Python 👤 AGI-Arena Organization 🕐 Mis à jour 2026-03-26 📅 Créé 2024-11-17
18
Coobiw/MPP-LLaVA

Projet Personnel : MPP-Qwen14B & MPP-Qwen-Next (Pipeline Parallèle Multimodal basé sur Qwen-LM). Supporte [vidéo/image/multi-image] {sft/conversations}. Ne laissez pas la pauvreté limiter votre imagination ! Entraînez votre propre MLLM de type LLaVA-training 8B/14B sur RTX3090/4090 24 Go.

Coobiw
⭐ 678 Jupyter Notebook 👤 Coobiw User 🕐 Mis à jour 2025-03-10 📅 Créé 2023-10-24
19
m-bain/webvid

Ensemble de données texte-vidéo à grande échelle. 10 millions de courtes vidéos légendées.

m-bain
⭐ 670 Python 👤 m-bain User 🕐 Mis à jour 2024-08-14 📅 Créé 2021-06-07
20
cxcscmu/Craw4LLM

Dépôt officiel pour "Craw4LLM : Crawl Web efficace pour la pré-formation LLM"

cxcscmu
⭐ 654 Python 👤 cxcscmu Organization 🕐 Mis à jour 2025-02-24 📅 Créé 2025-02-17
21
westlake-repl/SaProt

Saprot: Modèle linguistique de protéines avec alphabet structurel (AA+3Di)

westlake-repl
⭐ 646 Python 👤 westlake-repl Organization 🕐 Mis à jour 2026-03-08 📅 Créé 2023-10-02
22
PITI-Synthesis/PITI

PITI: Le pré-entraînement est tout ce dont vous avez besoin pour la traduction d'image à image

PITI-Synthesis
⭐ 501 Python 👤 PITI-Synthesis User 🕐 Mis à jour 2024-06-02 📅 Créé 2022-05-27

Foire aux questions

1

Quel est le dépôt #pretraining le plus populaire sur GitHub ?

Le projet #pretraining open source le mieux classé sur GitHub est rasbt/LLMs-from-scratch, avec 108,745 étoiles. Implémentez à partir de zéro un LLM de type ChatGPT dans PyTorch, étape par étape

2

Quels langages de programmation sont les plus utilisés dans les dépôts #pretraining ?

Parmi les projets #pretraining les mieux classés sur GitHub, les langages de programmation les plus courants sont Python, Jupyter Notebook.

3

Comment le classement des dépôts #pretraining est-il calculé ?

Nous suivons 22 dépôts open source actifs associés à #pretraining (500+ étoiles), totalisant 150,107 étoiles, avec une moyenne de 6,823 étoiles par dépôt. Les classements sont mis à jour quotidiennement à partir de l’API GitHub.