#transformer-architecture Репозитории
Откройте для себя 147 активных репозиториев с открытым исходным кодом на GitHub, отмеченных тегом #transformer-architecture, с общим числом 594,368 звёзд (в среднем 4,043 на проект). Лидером этой темы является karpathy/nanoGPT, набравший 64,617 звёзд.
Всего репозиториев: 147
Самый простой и быстрый репозиторий для обучения/дообучения GPT среднего размера.
TimesFM (Time Series Foundation Model) — это предварительно обученная базовая модель для временных рядов, разработанная Google Research для прогнозирования временных рядов.
Репозиторий предоставляет код для выполнения инференса с помощью Meta Segment Anything Model 2 (SAM 2), ссылки для загрузки обученных чекпоинтов модели и примеры ноутбуков, демонстрирующие, как использовать модель.
Репозиторий предоставляет код для выполнения вывода и тонкой настройки с помощью модели Meta Segment Anything Model 3 (SAM 3), ссылки для загрузки обученных контрольных точек модели и примеры ноутбуков, демонстрирующие использование модели.
Этот проект направлен на воспроизведение Sora (модели T2V от OpenAI), мы хотим, чтобы сообщество open source внесло свой вклад в этот проект.
Kimi K2 — это серия больших языковых моделей, разработанная командой Moonshot AI.
Qwen-Image — это мощная базовая модель для генерации изображений, способная выполнять сложное рендеринг текста и точное редактирование изображений.
Основы больших моделей: Понимание основ больших моделей в одной статье
[ICLR 2024] Эффективные потоковые языковые модели с центром внимания (Attention Sinks)
Это простой проект технического科普-туториала, в основном посвященный объяснению интересных, передовых технических концепций и принципов. Каждая статья должна быть прочитана за 5 минут.
Простая и эффективная генерация текста Transformer на основе Pytorch менее чем за 1000 строк кода Python.
[ICLR 2024] Дообучение LLaMA для выполнения инструкций за 1 час и 1,2 млн параметров
DeepSeek-V2: Мощная, экономичная и эффективная языковая модель Mixture-of-Experts
В конечном итоге исчерпывающий список работ по Vision Transformer/Attention, включая статьи, коды и связанные веб-сайты
Использование Bert, ERNIE для классификации китайского текста
"Build a Large Language Model (From Scratch)" — это электронная книга, которая углубляется в принципы и реализацию больших языковых моделей, подходящая для учащихся, желающих глубоко понять архитектуру, процесс обучения и разработку приложений таких больших моделей, как GPT. Чтобы больше китайских читателей могли получить доступ к этому чрезвычайно ценному учебному пособию, я решил перевести его на китайский язык и поделиться им как открытым исходным кодом через GitHub.
[CVPR2025 Highlight] Фундаментальные модели генерации видео: https://saiyan-world.github.io/goku/
Официальная кодовая база для Decision Transformer: Обучение с подкреплением через моделирование последовательностей.
Этот репозиторий в основном записывает вопросы собеседования, связанные с инженерами алгоритмов больших языковых моделей (LLM).
Официальная реализация PatchTST: «A Time Series is Worth 64 Words: Long-term Forecasting with Transformers.» (ICLR 2023) https://arxiv.org/abs/2211.14730
Это официальный репозиторий книги "The Hundred-Page Language Models Book" от Андрея Буркова
LLM, обученная на данных только из определенных периодов времени для уменьшения современных предубеждений
Часто задаваемые вопросы
Какой репозиторий по теме #transformer-architecture наиболее популярен на GitHub?
Самый высоко оценённый проект с открытым исходным кодом по теме #transformer-architecture на GitHub — karpathy/nanoGPT, набравший 64,617 звёзд. Самый простой и быстрый репозиторий для обучения/дообучения GPT среднего размера.
Какие языки программирования чаще всего используются в репозиториях по теме #transformer-architecture?
Среди наиболее высоко оценённых проектов по теме #transformer-architecture на GitHub чаще всего используются языки программирования Python, Jupyter Notebook, Makefile, TypeScript.
Как рассчитывается рейтинг репозиториев по теме #transformer-architecture?
Мы отслеживаем 147 активных репозиториев с открытым исходным кодом, отмеченных тегом #transformer-architecture (500 и более звёзд), с общим числом 594,368 звёзд и в среднем 4,043 звёзд на репозиторий. Рейтинги обновляются ежедневно на основе данных GitHub API.