#ring-attention Репозитории
Откройте для себя 3 активных репозиториев с открытым исходным кодом на GitHub, отмеченных тегом #ring-attention, с общим числом 2,502 звёзд (в среднем 834 на проект). Лидером этой темы является zhuzilin/ring-flash-attention, набравший 1,054 звёзд.
Всего репозиториев: 3
Оптимизация памяти и рецепты обучения для экстраполяции длины контекста языковых моделей до 1 миллиона токенов с минимальным оборудованием.
USP: Единое (также гибридное, 2D) последовательное параллельное внимание для обучения и вывода моделей Transformer с длинным контекстом
Часто задаваемые вопросы
Какой репозиторий по теме #ring-attention наиболее популярен на GitHub?
Самый высоко оценённый проект с открытым исходным кодом по теме #ring-attention на GitHub — zhuzilin/ring-flash-attention, набравший 1,054 звёзд. Реализация кольцевого внимания с флэш-вниманием
Какие языки программирования чаще всего используются в репозиториях по теме #ring-attention?
Среди наиболее высоко оценённых проектов по теме #ring-attention на GitHub чаще всего используются языки программирования Python.
Как рассчитывается рейтинг репозиториев по теме #ring-attention?
Мы отслеживаем 3 активных репозиториев с открытым исходным кодом, отмеченных тегом #ring-attention (500 и более звёзд), с общим числом 2,502 звёзд и в среднем 834 звёзд на репозиторий. Рейтинги обновляются ежедневно на основе данных GitHub API.