#pretraining Repositories
Entdecke 22 aktive Open-Source-GitHub-Repositories, die mit #pretraining getaggt sind und insgesamt 150,107 Sterne gesammelt haben (durchschnittlich 6,823 Sterne pro Projekt). Spitzenreiter in diesem Themenbereich ist rasbt/LLMs-from-scratch mit 108,745 Sternen.
Insgesamt 22 Repositories
Implementieren Sie Schritt für Schritt ein ChatGPT-ähnliches LLM in PyTorch von Grund auf neu
Llama Chinesische Community, sammelt in Echtzeit die neuesten Llama-Lernmaterialien, baut das beste chinesische Open-Source-Ökosystem für Llama-große Modelle auf, vollständig Open Source und kommerziell nutzbar
Offizielle Repository von OFA (ICML 2022). Paper: OFA: Unifying Architectures, Tasks, and Modalities Through a Simple Sequence-to-Sequence Learning Framework
HRM-Text ist ein 1-Milliarden-Parameter-Textgenerierungsmodell, das auf der HRM-Architektur basiert und durch Aufgabenabschluss und Schlussfolgerungen im latenten Raum gestärkt wurde.
Artikel über Vortraining und selbstüberwachtes Lernen auf Graph Neural Networks (GNNs).
[ICLR'23 Spotlight🔥] Die erste erfolgreiche BERT/MAE-Stil-Vortraining auf jedem konvolutionellen Netzwerk; Pytorch-Implementierung von "Designing BERT for Convolutional Networks: Sparse and Hierarchical Masked Modeling"
GraphGen: Verbesserung des überwachten Fine-Tunings für LLMs mit wissensgesteuerter Generierung synthetischer Daten
Offizielles Repository für „OpenWAM: Eine offene, modulare Erkundung hin zum systematischen Vortraining von Welt-Aktions-Modellen“.
Pretraining- und Inferenzcode für ein großskaliges tiefenrekurrentes Sprachmodell
Ein leistungsstarkes Framework zum Training von LLMs, VLMs, Diffusionsmodellen und verkörperten Modellen auf NVIDIA-GPUs und Kunlun-XPUs. Unterstützt Pi0.5, GR00T-N1.7, FastWAM, Cosmos3, DreamZero, DeepSeek-V4, GLM-5.3, Kimi-K3 und weitere Modelle.
【ICLR 2024🔥】 Erweitern des Video-Sprache-Vortrainings auf N-Modalitäten durch sprachbasierte semantische Ausrichtung
Eine kuratierte Liste von 3D-Vision-Papieren im Bereich Robotik im Zeitalter großer Modelle, d. h. LLMs/VLMs, inspiriert von Awesome-Computer-Vision, einschließlich Papieren, Codes und verwandten Websites
[NeurIPS 2024 Spotlight] Offizielle Implementierung von MSFA und Veröffentlichung des SARDet_100K-Datensatzes für die groß angelegte Objekterkennung mit synthetischem Scharffokusradar (SAR)
Die offizielle Implementierung von MARS: Entfesselung der Kraft der Varianzreduktion für das Training großer Modelle
Persönliches Projekt: MPP-Qwen14B & MPP-Qwen-Next (Multimodale Pipeline-Parallelität basierend auf Qwen-LM). Unterstützt [video/image/multi-image] {sft/conversations}. Lassen Sie nicht zu, dass Armut Ihre Vorstellungskraft einschränkt! Trainieren Sie Ihr eigenes 8B/14B LLaVA-training-ähnliches MLLM auf RTX3090/4090 24GB.
Offizielle Repository für "Craw4LLM: Effizientes Web-Crawling für LLM-Pretraining"
PITI: Vortraining ist alles, was Sie für die Bild-zu-Bild-Übersetzung benötigen
Häufig gestellte Fragen
Welches ist das beliebteste #pretraining-Repository auf GitHub?
Das am höchsten eingestufte Open-Source-#pretraining-Projekt auf GitHub ist rasbt/LLMs-from-scratch mit 108,745 Sternen. Implementieren Sie Schritt für Schritt ein ChatGPT-ähnliches LLM in PyTorch von Grund auf neu
Welche Programmiersprachen werden in #pretraining-Repositories am häufigsten verwendet?
Unter den am höchsten eingestuften #pretraining-Projekten auf GitHub sind Python, Jupyter Notebook die am häufigsten verwendeten Programmiersprachen.
Wie wird das Ranking der #pretraining-Repositories berechnet?
Wir verfolgen 22 aktive Open-Source-Repositories, die mit #pretraining getaggt sind (500+ Sterne), mit insgesamt 150,107 Sternen und durchschnittlich 6,823 Sternen pro Repository. Die Rankings werden täglich über die GitHub-API aktualisiert.