Git Stars Git Stars

#pretraining Repositories

Entdecke 22 aktive Open-Source-GitHub-Repositories, die mit #pretraining getaggt sind und insgesamt 150,107 Sterne gesammelt haben (durchschnittlich 6,823 Sterne pro Projekt). Spitzenreiter in diesem Themenbereich ist rasbt/LLMs-from-scratch mit 108,745 Sternen.

22
Gesamtzahl der Repositories
150,107
Gesamtanzahl der Sterne
6,823
Durchschnittliche Sterne/Repo
Programmiersprachen: Python Jupyter Notebook

Insgesamt 22 Repositories

1
rasbt/LLMs-from-scratch

Implementieren Sie Schritt für Schritt ein ChatGPT-ähnliches LLM in PyTorch von Grund auf neu

rasbt
⭐ 108,745 Jupyter Notebook 👤 rasbt User 🕐 Aktualisiert 2026-11-20 📅 Erstellt 2023-07-23
2
LlamaChinese/Llama-Chinese

Llama Chinesische Community, sammelt in Echtzeit die neuesten Llama-Lernmaterialien, baut das beste chinesische Open-Source-Ökosystem für Llama-große Modelle auf, vollständig Open Source und kommerziell nutzbar

LlamaChinese
⭐ 14,712 Python 👤 LlamaChinese Organization 🕐 Aktualisiert 2025-04-06 📅 Erstellt 2023-07-19
3
microsoft/LMOps

Allgemeine Technologie zur Ermöglichung von KI-Funktionen mit LLMs und MLLMs

microsoft
⭐ 4,484 Python 👤 microsoft Organization 🕐 Aktualisiert 2026-09-15 📅 Erstellt 2022-12-13
4
OFA-Sys/OFA

Offizielle Repository von OFA (ICML 2022). Paper: OFA: Unifying Architectures, Tasks, and Modalities Through a Simple Sequence-to-Sequence Learning Framework

OFA-Sys
⭐ 2,550 Python 👤 OFA-Sys Organization 🕐 Aktualisiert 2024-04-24 📅 Erstellt 2022-01-29
5
X-PLUG/mPLUG-Owl

mPLUG-Owl: Die leistungsstarke Familie von Multi-modal Large Language Models

X-PLUG
⭐ 2,541 Python 👤 X-PLUG Organization 🕐 Aktualisiert 2025-04-02 📅 Erstellt 2023-04-25
6
sapientinc/HRM-Text

HRM-Text ist ein 1-Milliarden-Parameter-Textgenerierungsmodell, das auf der HRM-Architektur basiert und durch Aufgabenabschluss und Schlussfolgerungen im latenten Raum gestärkt wurde.

sapientinc
⭐ 2,341 Python 👤 sapientinc Organization 🕐 Aktualisiert 2026-09-21 📅 Erstellt 2026-05-18
7
ChandlerBang/awesome-self-supervised-gnn

Artikel über Vortraining und selbstüberwachtes Lernen auf Graph Neural Networks (GNNs).

ChandlerBang
⭐ 1,704 Python 👤 ChandlerBang User 🕐 Aktualisiert 2024-02-02 📅 Erstellt 2020-05-27
8
keyu-tian/SparK

[ICLR'23 Spotlight🔥] Die erste erfolgreiche BERT/MAE-Stil-Vortraining auf jedem konvolutionellen Netzwerk; Pytorch-Implementierung von "Designing BERT for Convolutional Networks: Sparse and Hierarchical Masked Modeling"

keyu-tian
⭐ 1,363 Python 👤 keyu-tian User 🕐 Aktualisiert 2024-01-23 📅 Erstellt 2023-01-05
9
InternScience/GraphGen

GraphGen: Verbesserung des überwachten Fine-Tunings für LLMs mit wissensgesteuerter Generierung synthetischer Daten

InternScience
⭐ 1,236 Python 👤 InternScience Organization 🕐 Aktualisiert 2026-11-08 📅 Erstellt 2025-01-08
10
OpenWAM-Official/OpenWAM

Offizielles Repository für „OpenWAM: Eine offene, modulare Erkundung hin zum systematischen Vortraining von Welt-Aktions-Modellen“.

OpenWAM-Official
⭐ 1,210 Python 👤 OpenWAM-Official Organization 🕐 Aktualisiert 2026-11-12 📅 Erstellt 2026-09-06
11
deepmodeling/Uni-Mol

Offizielles Repository für die Uni-Mol-Serienmethoden

deepmodeling
⭐ 1,112 Python 👤 deepmodeling Organization 🕐 Aktualisiert 2025-05-29 📅 Erstellt 2022-05-22
12
seal-rg/recurrent-pretraining

Pretraining- und Inferenzcode für ein großskaliges tiefenrekurrentes Sprachmodell

seal-rg
⭐ 993 Python 👤 seal-rg Organization 🕐 Aktualisiert 2025-12-29 📅 Erstellt 2025-02-07
13
baidu-baige/LoongForge

Ein leistungsstarkes Framework zum Training von LLMs, VLMs, Diffusionsmodellen und verkörperten Modellen auf NVIDIA-GPUs und Kunlun-XPUs. Unterstützt Pi0.5, GR00T-N1.7, FastWAM, Cosmos3, DreamZero, DeepSeek-V4, GLM-5.3, Kimi-K3 und weitere Modelle.

baidu-baige
⭐ 881 Python 👤 baidu-baige Organization 🕐 Aktualisiert 2026-11-20 📅 Erstellt 2026-04-23
14
PKU-YuanGroup/LanguageBind

【ICLR 2024🔥】 Erweitern des Video-Sprache-Vortrainings auf N-Modalitäten durch sprachbasierte semantische Ausrichtung

PKU-YuanGroup
⭐ 856 Python 👤 PKU-YuanGroup Organization 🕐 Aktualisiert 2024-03-25 📅 Erstellt 2023-10-02
15
zubair-irshad/Awesome-Robotics-3D

Eine kuratierte Liste von 3D-Vision-Papieren im Bereich Robotik im Zeitalter großer Modelle, d. h. LLMs/VLMs, inspiriert von Awesome-Computer-Vision, einschließlich Papieren, Codes und verwandten Websites

zubair-irshad
⭐ 824 👤 zubair-irshad User 🕐 Aktualisiert 2025-12-17 📅 Erstellt 2024-08-12
16
zcablii/SARDet_100K

[NeurIPS 2024 Spotlight] Offizielle Implementierung von MSFA und Veröffentlichung des SARDet_100K-Datensatzes für die groß angelegte Objekterkennung mit synthetischem Scharffokusradar (SAR)

zcablii
⭐ 743 Python 👤 zcablii User 🕐 Aktualisiert 2025-05-06 📅 Erstellt 2024-02-20
17
AGI-Arena/MARS

Die offizielle Implementierung von MARS: Entfesselung der Kraft der Varianzreduktion für das Training großer Modelle

AGI-Arena
⭐ 725 Python 👤 AGI-Arena Organization 🕐 Aktualisiert 2026-03-26 📅 Erstellt 2024-11-17
18
Coobiw/MPP-LLaVA

Persönliches Projekt: MPP-Qwen14B & MPP-Qwen-Next (Multimodale Pipeline-Parallelität basierend auf Qwen-LM). Unterstützt [video/image/multi-image] {sft/conversations}. Lassen Sie nicht zu, dass Armut Ihre Vorstellungskraft einschränkt! Trainieren Sie Ihr eigenes 8B/14B LLaVA-training-ähnliches MLLM auf RTX3090/4090 24GB.

Coobiw
⭐ 678 Jupyter Notebook 👤 Coobiw User 🕐 Aktualisiert 2025-03-10 📅 Erstellt 2023-10-24
19
m-bain/webvid

Groß angelegter Text-Video-Datensatz. 10 Millionen beschriftete Kurzvideos.

m-bain
⭐ 670 Python 👤 m-bain User 🕐 Aktualisiert 2024-08-14 📅 Erstellt 2021-06-07
20
cxcscmu/Craw4LLM

Offizielle Repository für "Craw4LLM: Effizientes Web-Crawling für LLM-Pretraining"

cxcscmu
⭐ 654 Python 👤 cxcscmu Organization 🕐 Aktualisiert 2025-02-24 📅 Erstellt 2025-02-17
21
westlake-repl/SaProt

Saprot: Protein-Sprachmodell mit strukturalem Alphabet (AA+3Di)

westlake-repl
⭐ 646 Python 👤 westlake-repl Organization 🕐 Aktualisiert 2026-03-08 📅 Erstellt 2023-10-02
22
PITI-Synthesis/PITI

PITI: Vortraining ist alles, was Sie für die Bild-zu-Bild-Übersetzung benötigen

PITI-Synthesis
⭐ 501 Python 👤 PITI-Synthesis User 🕐 Aktualisiert 2024-06-02 📅 Erstellt 2022-05-27

Häufig gestellte Fragen

1

Welches ist das beliebteste #pretraining-Repository auf GitHub?

Das am höchsten eingestufte Open-Source-#pretraining-Projekt auf GitHub ist rasbt/LLMs-from-scratch mit 108,745 Sternen. Implementieren Sie Schritt für Schritt ein ChatGPT-ähnliches LLM in PyTorch von Grund auf neu

2

Welche Programmiersprachen werden in #pretraining-Repositories am häufigsten verwendet?

Unter den am höchsten eingestuften #pretraining-Projekten auf GitHub sind Python, Jupyter Notebook die am häufigsten verwendeten Programmiersprachen.

3

Wie wird das Ranking der #pretraining-Repositories berechnet?

Wir verfolgen 22 aktive Open-Source-Repositories, die mit #pretraining getaggt sind (500+ Sterne), mit insgesamt 150,107 Sternen und durchschnittlich 6,823 Sternen pro Repository. Die Rankings werden täglich über die GitHub-API aktualisiert.