Git Stars Git Stars

#pretraining 저장소

#pretraining 태그가 지정된 GitHub의 활성 오픈 소스 저장소 22개를 확인해 보세요. 총 150,107개의 스타를 획득했으며 프로젝트당 평균 6,823개입니다. 이 주제를 이끄는 저장소는 108,745개의 스타를 받은 rasbt/LLMs-from-scratch입니다.

22
총 리포지토리
150,107
총 별점
6,823
리포지토리당 평균 스타 수
프로그래밍 언어: Python Jupyter Notebook

저장소 총 22개

1
rasbt/LLMs-from-scratch

PyTorch에서 ChatGPT와 유사한 LLM을 처음부터 단계별로 구현하기

rasbt
⭐ 108,745 Jupyter Notebook 👤 rasbt User 🕐 업데이트됨 2026-11-20 📅 생성됨 2023-07-23
2
LlamaChinese/Llama-Chinese

Llama 중국 커뮤니티, 최신 Llama 학습 자료를 실시간으로 집계하고, 최고의 중국어 Llama 대규모 모델 오픈소스 생태계를 구축하며, 완전한 오픈소스 및 상업적 이용 가능

LlamaChinese
⭐ 14,712 Python 👤 LlamaChinese Organization 🕐 업데이트됨 2025-04-06 📅 생성됨 2023-07-19
3
microsoft/LMOps

LLM 및 MLLM을 사용한 AI 기능 활성화에 대한 일반 기술

microsoft
⭐ 4,484 Python 👤 microsoft Organization 🕐 업데이트됨 2026-09-15 📅 생성됨 2022-12-13
4
OFA-Sys/OFA

OFA(ICML 2022)의 공식 저장소. 논문: OFA: Unifying Architectures, Tasks, and Modalities Through a Simple Sequence-to-Sequence Learning Framework

OFA-Sys
⭐ 2,550 Python 👤 OFA-Sys Organization 🕐 업데이트됨 2024-04-24 📅 생성됨 2022-01-29
5
X-PLUG/mPLUG-Owl

mPLUG-Owl: 강력한 멀티모달 대규모 언어 모델 패밀리

X-PLUG
⭐ 2,541 Python 👤 X-PLUG Organization 🕐 업데이트됨 2025-04-02 📅 생성됨 2023-04-25
6
sapientinc/HRM-Text

HRM-Text는 HRM 아키텍처를 기반으로 하는 10억 개의 파라미터를 가진 텍스트 생성 모델로, 작업 완료 및 잠재 공간 추론을 통해 강화되었습니다.

sapientinc
⭐ 2,341 Python 👤 sapientinc Organization 🕐 업데이트됨 2026-09-21 📅 생성됨 2026-05-18
7
ChandlerBang/awesome-self-supervised-gnn

그래프 신경망(GNN)의 사전 훈련 및 자기 지도 학습 관련 논문.

ChandlerBang
⭐ 1,704 Python 👤 ChandlerBang User 🕐 업데이트됨 2024-02-02 📅 생성됨 2020-05-27
8
keyu-tian/SparK

[ICLR'23 Spotlight🔥] 모든 합성곱 신경망에서 최초의 성공적인 BERT/MAE 스타일 사전 훈련; "Designing BERT for Convolutional Networks: Sparse and Hierarchical Masked Modeling"의 Pytorch 구현

keyu-tian
⭐ 1,363 Python 👤 keyu-tian User 🕐 업데이트됨 2024-01-23 📅 생성됨 2023-01-05
9
InternScience/GraphGen

GraphGen: 지식 기반 합성 데이터 생성을 통한 LLM의 지도 미세 조정 강화

InternScience
⭐ 1,236 Python 👤 InternScience Organization 🕐 업데이트됨 2026-11-08 📅 생성됨 2025-01-08
10
OpenWAM-Official/OpenWAM

“OpenWAM: 체계적인 세계–행동 모델 사전학습을 향한 개방형 모듈식 탐구”의 공식 저장소.

OpenWAM-Official
⭐ 1,210 Python 👤 OpenWAM-Official Organization 🕐 업데이트됨 2026-11-12 📅 생성됨 2026-09-06
11
deepmodeling/Uni-Mol

Uni-Mol 시리즈 방법론 공식 리포지토리

deepmodeling
⭐ 1,112 Python 👤 deepmodeling Organization 🕐 업데이트됨 2025-05-29 📅 생성됨 2022-05-22
12
seal-rg/recurrent-pretraining

대규모 깊이 순환 언어 모델을 위한 사전 훈련 및 추론 코드

seal-rg
⭐ 993 Python 👤 seal-rg Organization 🕐 업데이트됨 2025-12-29 📅 생성됨 2025-02-07
13
baidu-baige/LoongForge

NVIDIA GPU 및 Kunlun XPU에서 LLM, VLM, 확산 모델과 임바디드 모델을 학습하기 위한 고성능 프레임워크입니다. Pi0.5, GR00T-N1.7, FastWAM, Cosmos3, DreamZero, DeepSeek-V4, GLM-5.3, Kimi-K3 등을 지원합니다.

baidu-baige
⭐ 881 Python 👤 baidu-baige Organization 🕐 업데이트됨 2026-11-20 📅 생성됨 2026-04-23
14
PKU-YuanGroup/LanguageBind

【ICLR 2024🔥】 언어 기반 의미론적 정렬을 통한 N-모달리티로의 비디오-언어 사전 학습 확장

PKU-YuanGroup
⭐ 856 Python 👤 PKU-YuanGroup Organization 🕐 업데이트됨 2024-03-25 📅 생성됨 2023-10-02
15
zubair-irshad/Awesome-Robotics-3D

LLM/VLM 시대의 대형 모델을 활용한 로보틱스 분야 3D 비전 관련 논문 목록, awesome-computer-vision에서 영감을 받았으며 논문, 코드 및 관련 웹사이트 포함

zubair-irshad
⭐ 824 👤 zubair-irshad User 🕐 업데이트됨 2025-12-17 📅 생성됨 2024-08-12
16
zcablii/SARDet_100K

[NeurIPS 2024 spotlight] MSFA의 공식 구현 및 대규모 합성 개구 레이더(SAR) 객체 탐지를 위한 SARDet_100K 데이터셋 출시

zcablii
⭐ 743 Python 👤 zcablii User 🕐 업데이트됨 2025-05-06 📅 생성됨 2024-02-20
17
AGI-Arena/MARS

MARS의 공식 구현: 대규모 모델 훈련을 위한 분산 감소 능력 활용

AGI-Arena
⭐ 725 Python 👤 AGI-Arena Organization 🕐 업데이트됨 2026-03-26 📅 생성됨 2024-11-17
18
Coobiw/MPP-LLaVA

개인 프로젝트: MPP-Qwen14B & MPP-Qwen-Next (Qwen-LM 기반 멀티모달 파이프라인 병렬). [video/image/multi-image] {sft/conversations} 지원. 가난이 당신의 상상력을 제한하게 두지 마세요! RTX3090/4090 24GB에서 자신만의 8B/14B LLaVA-training과 유사한 MLLM을 훈련하세요.

Coobiw
⭐ 678 Jupyter Notebook 👤 Coobiw User 🕐 업데이트됨 2025-03-10 📅 생성됨 2023-10-24
19
m-bain/webvid

대규모 텍스트-비디오 데이터셋. 1000만 개의 캡션이 포함된 짧은 동영상.

m-bain
⭐ 670 Python 👤 m-bain User 🕐 업데이트됨 2024-08-14 📅 생성됨 2021-06-07
20
cxcscmu/Craw4LLM

"Craw4LLM: LLM 사전 훈련을 위한 효율적인 웹 크롤링" 공식 리포지토리

cxcscmu
⭐ 654 Python 👤 cxcscmu Organization 🕐 업데이트됨 2025-02-24 📅 생성됨 2025-02-17
21
westlake-repl/SaProt

Saprot: 구조 알파벳(AA+3Di)을 이용한 단백질 언어 모델

westlake-repl
⭐ 646 Python 👤 westlake-repl Organization 🕐 업데이트됨 2026-03-08 📅 생성됨 2023-10-02
22
PITI-Synthesis/PITI

PITI: 이미지 간 변환에는 사전 학습만 있으면 됩니다

PITI-Synthesis
⭐ 501 Python 👤 PITI-Synthesis User 🕐 업데이트됨 2024-06-02 📅 생성됨 2022-05-27

자주 묻는 질문

1

GitHub에서 가장 인기 있는 #pretraining 저장소는 무엇인가요?

GitHub에서 가장 높은 순위의 오픈 소스 #pretraining 프로젝트는 108,745개의 스타를 받은 rasbt/LLMs-from-scratch입니다. PyTorch에서 ChatGPT와 유사한 LLM을 처음부터 단계별로 구현하기

2

#pretraining 저장소에서 가장 많이 사용되는 프로그래밍 언어는 무엇인가요?

GitHub에서 순위가 가장 높은 #pretraining 프로젝트 중 가장 일반적으로 사용되는 프로그래밍 언어는 Python, Jupyter Notebook입니다.

3

#pretraining 저장소 순위는 어떻게 계산되나요?

#pretraining 태그가 지정된 활성 오픈 소스 저장소(22개, 스타 500개 이상)를 추적하고 있습니다. 총 스타 수는 150,107개이며 저장소당 평균 6,823개입니다. 순위는 GitHub API를 통해 매일 업데이트됩니다.