#linear-attention Dépôts
Découvrez 7 dépôts GitHub open source actifs associés à #linear-attention, cumulant 31,942 étoiles au total (soit une moyenne de 4,563 étoiles par projet). Le projet en tête de ce thème est BlinkDL/RWKV-LM, avec 14,786 étoiles.
7 dépôts au total
RWKV (prononcé RwaKuv) est un RNN avec d'excellentes performances LLM, qui peut également être entraîné directement comme un transformer GPT (parallélisable). Nous en sommes à RWKV-7 "Goose". Il combine donc le meilleur des RNN et des transformers - d'excellentes performances, un temps linéaire, un espace constant (pas de cache kv), un entraînement rapide, une ctx_len infinie et une intégration de phrases gratuite.
Un modèle Kimi K3 de 2 780 milliards de paramètres effectuant une inférence sur un seul CPU avec 8,24 Go de RAM. C99 portable : sans BLAS, sans framework, sans GPU.
SLA : Au-delà de la parcimonie dans les transformeurs de diffusion grâce à une attention creuse-linéaire ajustable
Foire aux questions
Quel est le dépôt #linear-attention le plus populaire sur GitHub ?
Le projet #linear-attention open source le mieux classé sur GitHub est BlinkDL/RWKV-LM, avec 14,786 étoiles. RWKV (prononcé RwaKuv) est un RNN avec d'excellentes performances LLM, qui peut également être entraîné directement comme un transformer GPT (parallélisable). Nous en sommes à RWKV-7 "Goose". Il combine donc le meilleur des RNN et des transformers - d'excellentes performances, un temps linéaire, un espace constant (pas de cache kv), un entraînement rapide, une ctx_len infinie et une intégration de phrases gratuite.
Quels langages de programmation sont les plus utilisés dans les dépôts #linear-attention ?
Parmi les projets #linear-attention les mieux classés sur GitHub, les langages de programmation les plus courants sont Python, C.
Comment le classement des dépôts #linear-attention est-il calculé ?
Nous suivons 7 dépôts open source actifs associés à #linear-attention (500+ étoiles), totalisant 31,942 étoiles, avec une moyenne de 4,563 étoiles par dépôt. Les classements sont mis à jour quotidiennement à partir de l’API GitHub.