#pretraining Репозитории
Откройте для себя 22 активных репозиториев с открытым исходным кодом на GitHub, отмеченных тегом #pretraining, с общим числом 150,107 звёзд (в среднем 6,823 на проект). Лидером этой темы является rasbt/LLMs-from-scratch, набравший 108,745 звёзд.
Всего репозиториев: 22
Китайское сообщество Llama, в режиме реального времени собирает новейшие учебные материалы по Llama, создает лучшую в Китае экосистему больших моделей Llama с открытым исходным кодом, полностью с открытым исходным кодом и доступную для коммерческого использования
Официальный репозиторий OFA (ICML 2022). Статья: OFA: Unifying Architectures, Tasks, and Modalities Through a Simple Sequence-to-Sequence Learning Framework
HRM-Text — это модель генерации текста с 1 миллиардом параметров, основанная на архитектуре HRM и усиленная за счет выполнения задач и рассуждений в латентном пространстве.
Статьи о предварительном обучении и самообучении на графовых нейронных сетях (GNN).
[ICLR'23 Spotlight🔥] Первое успешное предобучение в стиле BERT/MAE на любой сверточной сети; реализация на Pytorch "Designing BERT for Convolutional Networks: Sparse and Hierarchical Masked Modeling"
GraphGen: Улучшение контролируемой дообучения для LLM с помощью генерации синтетических данных на основе знаний
Официальный репозиторий проекта «OpenWAM: открытое модульное исследование в направлении систематического предварительного обучения мировых моделей и моделей действий».
Код предварительного обучения и инференса для крупномасштабной глубокой рекуррентной языковой модели
Высокопроизводительный фреймворк для обучения LLM, VLM, диффузионных и воплощённых моделей на GPU NVIDIA и XPU Kunlun. Поддерживает Pi0.5, GR00T-N1.7, FastWAM, Cosmos3, DreamZero, DeepSeek-V4, GLM-5.3, Kimi-K3 и другие модели.
【ICLR 2024🔥】 Расширение предварительного обучения видео-языка на N-модальности с помощью семантического выравнивания на основе языка
Курируемый список статей по 3D-зрению, относящихся к области робототехники в эпоху больших моделей, т. е. LLM/VLM, вдохновленный awesome-computer-vision, включая статьи, коды и связанные веб-сайты
[NeurIPS 2024 spotlight] Официальная реализация MSFA и выпуск набора данных SARDet_100K для крупномасштабного обнаружения объектов с использованием радара с синтезированной апертурой (SAR)
Официальная реализация MARS: Раскрытие потенциала снижения дисперсии для обучения больших моделей
Личный проект: MPP-Qwen14B & MPP-Qwen-Next (Мультимодальный конвейерный параллелизм на основе Qwen-LM). Поддержка [video/image/multi-image] {sft/conversations}. Не позволяйте бедности ограничивать ваше воображение! Обучите свой собственный MLLM, похожий на LLaVA-training, 8B/14B на RTX3090/4090 24GB.
Официальный репозиторий для "Craw4LLM: Эффективный веб-краулинг для предварительного обучения LLM"
Часто задаваемые вопросы
Какой репозиторий по теме #pretraining наиболее популярен на GitHub?
Самый высоко оценённый проект с открытым исходным кодом по теме #pretraining на GitHub — rasbt/LLMs-from-scratch, набравший 108,745 звёзд. Реализуйте LLM, подобный ChatGPT, в PyTorch с нуля, шаг за шагом
Какие языки программирования чаще всего используются в репозиториях по теме #pretraining?
Среди наиболее высоко оценённых проектов по теме #pretraining на GitHub чаще всего используются языки программирования Python, Jupyter Notebook.
Как рассчитывается рейтинг репозиториев по теме #pretraining?
Мы отслеживаем 22 активных репозиториев с открытым исходным кодом, отмеченных тегом #pretraining (500 и более звёзд), с общим числом 150,107 звёзд и в среднем 6,823 звёзд на репозиторий. Рейтинги обновляются ежедневно на основе данных GitHub API.