Git Stars Git Stars

#pretraining 仓库

探索 22 个标记为 #pretraining 的活跃开源 GitHub 仓库,它们累计获得 150,107 个 Star(平均每个项目 6,823 个)。该主题的领先项目是 rasbt/LLMs-from-scratch,拥有 108,745 个 Star。

22
仓库总数
150,107
总星标数
6,823
平均每个仓库星标数
1
rasbt/LLMs-from-scratch

从头开始,一步一步用 PyTorch 实现一个类似 ChatGPT 的 LLM

rasbt
⭐ 108,745 Jupyter Notebook 👤 rasbt User 🕐 已更新 2026-11-20 📅 创建时间 2023-07-23
2
LlamaChinese/Llama-Chinese

Llama中文社区,实时汇总最新Llama学习资料,构建最好的中文Llama大模型开源生态,完全开源可商用

LlamaChinese
⭐ 14,712 Python 👤 LlamaChinese Organization 🕐 已更新 2025-04-06 📅 创建时间 2023-07-19
3
microsoft/LMOps

使用 LLM 和 MLLM 实现 AI 功能的通用技术

microsoft
⭐ 4,484 Python 👤 microsoft Organization 🕐 已更新 2026-09-15 📅 创建时间 2022-12-13
4
OFA-Sys/OFA

OFA (ICML 2022) 的官方仓库。论文:OFA: Unifying Architectures, Tasks, and Modalities Through a Simple Sequence-to-Sequence Learning Framework

OFA-Sys
⭐ 2,550 Python 👤 OFA-Sys Organization 🕐 已更新 2024-04-24 📅 创建时间 2022-01-29
5
X-PLUG/mPLUG-Owl

mPLUG-Owl: 强大的多模态大语言模型家族

X-PLUG
⭐ 2,541 Python 👤 X-PLUG Organization 🕐 已更新 2025-04-02 📅 创建时间 2023-04-25
6
sapientinc/HRM-Text

HRM-Text 是一个基于 HRM 架构的 10 亿参数文本生成模型,通过任务完成和潜在空间推理得到了增强。

sapientinc
⭐ 2,341 Python 👤 sapientinc Organization 🕐 已更新 2026-09-21 📅 创建时间 2026-05-18
7
ChandlerBang/awesome-self-supervised-gnn

关于图神经网络(GNN)的预训练和自监督学习的论文。

ChandlerBang
⭐ 1,704 Python 👤 ChandlerBang User 🕐 已更新 2024-02-02 📅 创建时间 2020-05-27
8
keyu-tian/SparK

[ICLR'23 Spotlight🔥] 首次在任何卷积网络上成功进行BERT/MAE风格的预训练;"Designing BERT for Convolutional Networks: Sparse and Hierarchical Masked Modeling" 的 Pytorch 实现

keyu-tian
⭐ 1,363 Python 👤 keyu-tian User 🕐 已更新 2024-01-23 📅 创建时间 2023-01-05
9
InternScience/GraphGen

GraphGen:通过知识驱动的合成数据生成增强LLM的监督微调

InternScience
⭐ 1,236 Python 👤 InternScience Organization 🕐 已更新 2026-11-08 📅 创建时间 2025-01-08
10
OpenWAM-Official/OpenWAM

“OpenWAM:面向系统化世界–行动模型预训练的开放式模块化探索”官方代码仓库。

OpenWAM-Official
⭐ 1,210 Python 👤 OpenWAM-Official Organization 🕐 已更新 2026-11-12 📅 创建时间 2026-09-06
11
deepmodeling/Uni-Mol

Uni-Mol 系列方法的官方存储库

deepmodeling
⭐ 1,112 Python 👤 deepmodeling Organization 🕐 已更新 2025-05-29 📅 创建时间 2022-05-22
12
seal-rg/recurrent-pretraining

一个大规模深度递归语言模型的前期训练和推理代码

seal-rg
⭐ 993 Python 👤 seal-rg Organization 🕐 已更新 2025-12-29 📅 创建时间 2025-02-07
13
baidu-baige/LoongForge

一个用于在 NVIDIA GPU 和昆仑 XPU 上训练 LLM、VLM、扩散模型和具身模型的高性能框架。支持 Pi0.5、GR00T-N1.7、FastWAM、Cosmos3、DreamZero、DeepSeek-V4、GLM-5.3、Kimi-K3 等模型。

baidu-baige
⭐ 881 Python 👤 baidu-baige Organization 🕐 已更新 2026-11-20 📅 创建时间 2026-04-23
14
PKU-YuanGroup/LanguageBind

【ICLR 2024🔥】 通过基于语言的语义对齐将视频-语言预训练扩展到N模态

PKU-YuanGroup
⭐ 856 Python 👤 PKU-YuanGroup Organization 🕐 已更新 2024-03-25 📅 创建时间 2023-10-02
15
zubair-irshad/Awesome-Robotics-3D

一个精选的3D视觉论文列表,涉及大模型时代,即LLMs/VLMs,在机器人领域,灵感来源于awesome-computer-vision,包括论文、代码和相关网站

zubair-irshad
⭐ 824 👤 zubair-irshad User 🕐 已更新 2025-12-17 📅 创建时间 2024-08-12
16
zcablii/SARDet_100K

[NeurIPS 2024 spotlight] MSFA 的官方实现及用于大规模合成孔径雷达 (SAR) 目标检测的 SARDet_100K 数据集发布

zcablii
⭐ 743 Python 👤 zcablii User 🕐 已更新 2025-05-06 📅 创建时间 2024-02-20
17
AGI-Arena/MARS

MARS 的官方实现:释放方差缩减的力量以训练大型模型

AGI-Arena
⭐ 725 Python 👤 AGI-Arena Organization 🕐 已更新 2026-03-26 📅 创建时间 2024-11-17
18
Coobiw/MPP-LLaVA

个人项目:MPP-Qwen14B & MPP-Qwen-Next(基于Qwen-LM的多模态流水线并行)。支持 [video/image/multi-image] {sft/conversations}。不要让贫困限制了你的想象力!在RTX3090/4090 24GB上训练你自己的8B/14B LLaVA训练风格的MLLM。

Coobiw
⭐ 678 Jupyter Notebook 👤 Coobiw User 🕐 已更新 2025-03-10 📅 创建时间 2023-10-24
19
m-bain/webvid

大规模文本视频数据集。1000万个带字幕的短视频。

m-bain
⭐ 670 Python 👤 m-bain User 🕐 已更新 2024-08-14 📅 创建时间 2021-06-07
20
cxcscmu/Craw4LLM

"Craw4LLM:LLM 预训练的高效网络爬取"的官方仓库

cxcscmu
⭐ 654 Python 👤 cxcscmu Organization 🕐 已更新 2025-02-24 📅 创建时间 2025-02-17
21
westlake-repl/SaProt

Saprot:具有结构字母表(AA+3Di)的蛋白质语言模型

westlake-repl
⭐ 646 Python 👤 westlake-repl Organization 🕐 已更新 2026-03-08 📅 创建时间 2023-10-02
22
PITI-Synthesis/PITI

PITI: 预训练是图像到图像翻译所需的一切

PITI-Synthesis
⭐ 501 Python 👤 PITI-Synthesis User 🕐 已更新 2024-06-02 📅 创建时间 2022-05-27

常见问题解答

1

GitHub 上最受欢迎的 #pretraining 仓库是什么?

GitHub 上排名第一的开源 #pretraining 项目是 rasbt/LLMs-from-scratch,拥有 108,745 个 Star。从头开始,一步一步用 PyTorch 实现一个类似 ChatGPT 的 LLM

2

#pretraining 仓库中最常使用的编程语言有哪些?

在 GitHub 上排名靠前的 #pretraining 项目中,最常见的编程语言是 Python, Jupyter Notebook。

3

#pretraining 仓库的排名是如何计算的?

我们跟踪了 22 个标记为 #pretraining 且拥有 500+ 个 Star 的活跃开源仓库,共计获得 150,107 个 Star,平均每个仓库拥有 6,823 个 Star。排名每日根据 GitHub API 更新。