Git Stars Git Stars

#pretraining Репозитории

Откройте для себя 22 активных репозиториев с открытым исходным кодом на GitHub, отмеченных тегом #pretraining, с общим числом 150,107 звёзд (в среднем 6,823 на проект). Лидером этой темы является rasbt/LLMs-from-scratch, набравший 108,745 звёзд.

22
Всего репозиториев
150,107
Всего звезд
6,823
Среднее количество звезд на репозиторий
Языки программирования: Python Jupyter Notebook

Всего репозиториев: 22

1
rasbt/LLMs-from-scratch

Реализуйте LLM, подобный ChatGPT, в PyTorch с нуля, шаг за шагом

rasbt
⭐ 108,745 Jupyter Notebook 👤 rasbt User 🕐 Обновлено 2026-11-20 📅 Создано 2023-07-23
2
LlamaChinese/Llama-Chinese

Китайское сообщество Llama, в режиме реального времени собирает новейшие учебные материалы по Llama, создает лучшую в Китае экосистему больших моделей Llama с открытым исходным кодом, полностью с открытым исходным кодом и доступную для коммерческого использования

LlamaChinese
⭐ 14,712 Python 👤 LlamaChinese Organization 🕐 Обновлено 2025-04-06 📅 Создано 2023-07-19
3
microsoft/LMOps

Общие технологии для обеспечения возможностей ИИ с помощью LLM и MLLM

microsoft
⭐ 4,484 Python 👤 microsoft Organization 🕐 Обновлено 2026-09-15 📅 Создано 2022-12-13
4
OFA-Sys/OFA

Официальный репозиторий OFA (ICML 2022). Статья: OFA: Unifying Architectures, Tasks, and Modalities Through a Simple Sequence-to-Sequence Learning Framework

OFA-Sys
⭐ 2,550 Python 👤 OFA-Sys Organization 🕐 Обновлено 2024-04-24 📅 Создано 2022-01-29
5
X-PLUG/mPLUG-Owl

mPLUG-Owl: Мощное семейство мультимодальных больших языковых моделей

X-PLUG
⭐ 2,541 Python 👤 X-PLUG Organization 🕐 Обновлено 2025-04-02 📅 Создано 2023-04-25
6
sapientinc/HRM-Text

HRM-Text — это модель генерации текста с 1 миллиардом параметров, основанная на архитектуре HRM и усиленная за счет выполнения задач и рассуждений в латентном пространстве.

sapientinc
⭐ 2,341 Python 👤 sapientinc Organization 🕐 Обновлено 2026-09-21 📅 Создано 2026-05-18
7
ChandlerBang/awesome-self-supervised-gnn

Статьи о предварительном обучении и самообучении на графовых нейронных сетях (GNN).

ChandlerBang
⭐ 1,704 Python 👤 ChandlerBang User 🕐 Обновлено 2024-02-02 📅 Создано 2020-05-27
8
keyu-tian/SparK

[ICLR'23 Spotlight🔥] Первое успешное предобучение в стиле BERT/MAE на любой сверточной сети; реализация на Pytorch "Designing BERT for Convolutional Networks: Sparse and Hierarchical Masked Modeling"

keyu-tian
⭐ 1,363 Python 👤 keyu-tian User 🕐 Обновлено 2024-01-23 📅 Создано 2023-01-05
9
InternScience/GraphGen

GraphGen: Улучшение контролируемой дообучения для LLM с помощью генерации синтетических данных на основе знаний

InternScience
⭐ 1,236 Python 👤 InternScience Organization 🕐 Обновлено 2026-11-08 📅 Создано 2025-01-08
10
OpenWAM-Official/OpenWAM

Официальный репозиторий проекта «OpenWAM: открытое модульное исследование в направлении систематического предварительного обучения мировых моделей и моделей действий».

OpenWAM-Official
⭐ 1,210 Python 👤 OpenWAM-Official Organization 🕐 Обновлено 2026-11-12 📅 Создано 2026-09-06
11
deepmodeling/Uni-Mol

Официальный репозиторий для серийных методов Uni-Mol

deepmodeling
⭐ 1,112 Python 👤 deepmodeling Organization 🕐 Обновлено 2025-05-29 📅 Создано 2022-05-22
12
seal-rg/recurrent-pretraining

Код предварительного обучения и инференса для крупномасштабной глубокой рекуррентной языковой модели

seal-rg
⭐ 993 Python 👤 seal-rg Organization 🕐 Обновлено 2025-12-29 📅 Создано 2025-02-07
13
baidu-baige/LoongForge

Высокопроизводительный фреймворк для обучения LLM, VLM, диффузионных и воплощённых моделей на GPU NVIDIA и XPU Kunlun. Поддерживает Pi0.5, GR00T-N1.7, FastWAM, Cosmos3, DreamZero, DeepSeek-V4, GLM-5.3, Kimi-K3 и другие модели.

baidu-baige
⭐ 881 Python 👤 baidu-baige Organization 🕐 Обновлено 2026-11-20 📅 Создано 2026-04-23
14
PKU-YuanGroup/LanguageBind

【ICLR 2024🔥】 Расширение предварительного обучения видео-языка на N-модальности с помощью семантического выравнивания на основе языка

PKU-YuanGroup
⭐ 856 Python 👤 PKU-YuanGroup Organization 🕐 Обновлено 2024-03-25 📅 Создано 2023-10-02
15
zubair-irshad/Awesome-Robotics-3D

Курируемый список статей по 3D-зрению, относящихся к области робототехники в эпоху больших моделей, т. е. LLM/VLM, вдохновленный awesome-computer-vision, включая статьи, коды и связанные веб-сайты

zubair-irshad
⭐ 824 👤 zubair-irshad User 🕐 Обновлено 2025-12-17 📅 Создано 2024-08-12
16
zcablii/SARDet_100K

[NeurIPS 2024 spotlight] Официальная реализация MSFA и выпуск набора данных SARDet_100K для крупномасштабного обнаружения объектов с использованием радара с синтезированной апертурой (SAR)

zcablii
⭐ 743 Python 👤 zcablii User 🕐 Обновлено 2025-05-06 📅 Создано 2024-02-20
17
AGI-Arena/MARS

Официальная реализация MARS: Раскрытие потенциала снижения дисперсии для обучения больших моделей

AGI-Arena
⭐ 725 Python 👤 AGI-Arena Organization 🕐 Обновлено 2026-03-26 📅 Создано 2024-11-17
18
Coobiw/MPP-LLaVA

Личный проект: MPP-Qwen14B & MPP-Qwen-Next (Мультимодальный конвейерный параллелизм на основе Qwen-LM). Поддержка [video/image/multi-image] {sft/conversations}. Не позволяйте бедности ограничивать ваше воображение! Обучите свой собственный MLLM, похожий на LLaVA-training, 8B/14B на RTX3090/4090 24GB.

Coobiw
⭐ 678 Jupyter Notebook 👤 Coobiw User 🕐 Обновлено 2025-03-10 📅 Создано 2023-10-24
19
m-bain/webvid

Масштабный набор данных текст-видео. 10 миллионов коротких видео с субтитрами.

m-bain
⭐ 670 Python 👤 m-bain User 🕐 Обновлено 2024-08-14 📅 Создано 2021-06-07
20
cxcscmu/Craw4LLM

Официальный репозиторий для "Craw4LLM: Эффективный веб-краулинг для предварительного обучения LLM"

cxcscmu
⭐ 654 Python 👤 cxcscmu Organization 🕐 Обновлено 2025-02-24 📅 Создано 2025-02-17
21
westlake-repl/SaProt

Saprot: Языковая модель белков со структурным алфавитом (AA+3Di)

westlake-repl
⭐ 646 Python 👤 westlake-repl Organization 🕐 Обновлено 2026-03-08 📅 Создано 2023-10-02
22
PITI-Synthesis/PITI

PITI: Предобучение — это всё, что нужно для перевода изображений

PITI-Synthesis
⭐ 501 Python 👤 PITI-Synthesis User 🕐 Обновлено 2024-06-02 📅 Создано 2022-05-27

Часто задаваемые вопросы

1

Какой репозиторий по теме #pretraining наиболее популярен на GitHub?

Самый высоко оценённый проект с открытым исходным кодом по теме #pretraining на GitHub — rasbt/LLMs-from-scratch, набравший 108,745 звёзд. Реализуйте LLM, подобный ChatGPT, в PyTorch с нуля, шаг за шагом

2

Какие языки программирования чаще всего используются в репозиториях по теме #pretraining?

Среди наиболее высоко оценённых проектов по теме #pretraining на GitHub чаще всего используются языки программирования Python, Jupyter Notebook.

3

Как рассчитывается рейтинг репозиториев по теме #pretraining?

Мы отслеживаем 22 активных репозиториев с открытым исходным кодом, отмеченных тегом #pretraining (500 и более звёзд), с общим числом 150,107 звёзд и в среднем 6,823 звёзд на репозиторий. Рейтинги обновляются ежедневно на основе данных GitHub API.