#linear-attention 仓库
探索 7 个标记为 #linear-attention 的活跃开源 GitHub 仓库,它们累计获得 31,942 个 Star(平均每个项目 4,563 个)。该主题的领先项目是 BlinkDL/RWKV-LM,拥有 14,786 个 Star。
共 7 个仓库
RWKV(发音为 RwaKuv)是一种具有出色 LLM 性能的 RNN,也可以像 GPT transformer 一样直接训练(可并行化)。我们目前使用的是 RWKV-7 "Goose"。因此,它结合了 RNN 和 transformer 的优点——出色的性能、线性时间、恒定空间(无 kv-缓存)、快速训练、无限上下文长度以及免费的句子嵌入。
一个拥有 2.78 万亿参数的 Kimi K3 模型,在单核 CPU 和 8.24 GB 内存下运行推理。可移植 C99 代码:无 BLAS,无框架,无 GPU。
常见问题解答
GitHub 上最受欢迎的 #linear-attention 仓库是什么?
GitHub 上排名第一的开源 #linear-attention 项目是 BlinkDL/RWKV-LM,拥有 14,786 个 Star。RWKV(发音为 RwaKuv)是一种具有出色 LLM 性能的 RNN,也可以像 GPT transformer 一样直接训练(可并行化)。我们目前使用的是 RWKV-7 "Goose"。因此,它结合了 RNN 和 transformer 的优点——出色的性能、线性时间、恒定空间(无 kv-缓存)、快速训练、无限上下文长度以及免费的句子嵌入。
#linear-attention 仓库中最常使用的编程语言有哪些?
在 GitHub 上排名靠前的 #linear-attention 项目中,最常见的编程语言是 Python, C。
#linear-attention 仓库的排名是如何计算的?
我们跟踪了 7 个标记为 #linear-attention 且拥有 500+ 个 Star 的活跃开源仓库,共计获得 31,942 个 Star,平均每个仓库拥有 4,563 个 Star。排名每日根据 GitHub API 更新。