#linear-attention Репозитории
Откройте для себя 7 активных репозиториев с открытым исходным кодом на GitHub, отмеченных тегом #linear-attention, с общим числом 31,942 звёзд (в среднем 4,563 на проект). Лидером этой темы является BlinkDL/RWKV-LM, набравший 14,786 звёзд.
Всего репозиториев: 7
RWKV (произносится RwaKuv) — это RNN с отличной производительностью LLM, который также может быть напрямую обучен, как трансформер GPT (параллелизуемый). Мы находимся на RWKV-7 "Goose". Таким образом, он сочетает в себе лучшее от RNN и трансформера — отличная производительность, линейное время, постоянное пространство (без kv-кеша), быстрое обучение, бесконечная длина контекста (ctx_len) и бесплатное встраивание предложений.
Модель Kimi K3 с 2,78 триллионами параметров, выполняющая логический вывод на одном процессоре с 8,24 ГБ оперативной памяти. Портативный C99: без BLAS, без фреймворков, без GPU.
SLA: За пределами разреженности в диффузионных трансформерах с помощью тонко настраиваемого разреженно-линейного внимания
Часто задаваемые вопросы
Какой репозиторий по теме #linear-attention наиболее популярен на GitHub?
Самый высоко оценённый проект с открытым исходным кодом по теме #linear-attention на GitHub — BlinkDL/RWKV-LM, набравший 14,786 звёзд. RWKV (произносится RwaKuv) — это RNN с отличной производительностью LLM, который также может быть напрямую обучен, как трансформер GPT (параллелизуемый). Мы находимся на RWKV-7 "Goose". Таким образом, он сочетает в себе лучшее от RNN и трансформера — отличная производительность, линейное время, постоянное пространство (без kv-кеша), быстрое обучение, бесконечная длина контекста (ctx_len) и бесплатное встраивание предложений.
Какие языки программирования чаще всего используются в репозиториях по теме #linear-attention?
Среди наиболее высоко оценённых проектов по теме #linear-attention на GitHub чаще всего используются языки программирования Python, C.
Как рассчитывается рейтинг репозиториев по теме #linear-attention?
Мы отслеживаем 7 активных репозиториев с открытым исходным кодом, отмеченных тегом #linear-attention (500 и более звёзд), с общим числом 31,942 звёзд и в среднем 4,563 звёзд на репозиторий. Рейтинги обновляются ежедневно на основе данных GitHub API.