#linear-attention Repositorios
Descubre 7 repositorios activos de código abierto de GitHub etiquetados con #linear-attention, que acumulan 31,942 estrellas en total (una media de 4,563 estrellas por proyecto). El líder de este tema es BlinkDL/RWKV-LM, con 14,786 estrellas.
7 repositorios en total
RWKV (pronunciado RwaKuv) es un RNN con un gran rendimiento de LLM, que también se puede entrenar directamente como un transformer GPT (paralelizable). Estamos en RWKV-7 "Goose". Por lo tanto, combina lo mejor de RNN y transformer: gran rendimiento, tiempo lineal, espacio constante (sin caché kv), entrenamiento rápido, ctx_len infinito y incrustación de oraciones gratuita.
Un modelo Kimi K3 de 2,78 billones de parámetros ejecutando inferencia en una sola CPU con 8,24 GB de RAM. C99 portátil: sin BLAS, sin framework, sin GPU.
SLA: Más allá de la dispersión en los transformadores de difusión mediante atención dispersa-lineal ajustable
Preguntas frecuentes
¿Cuál es el repositorio de #linear-attention más popular en GitHub?
El proyecto de código abierto de #linear-attention mejor posicionado en GitHub es BlinkDL/RWKV-LM, con 14,786 estrellas. RWKV (pronunciado RwaKuv) es un RNN con un gran rendimiento de LLM, que también se puede entrenar directamente como un transformer GPT (paralelizable). Estamos en RWKV-7 "Goose". Por lo tanto, combina lo mejor de RNN y transformer: gran rendimiento, tiempo lineal, espacio constante (sin caché kv), entrenamiento rápido, ctx_len infinito y incrustación de oraciones gratuita.
¿Qué lenguajes de programación se utilizan más en los repositorios de #linear-attention?
Entre los proyectos de #linear-attention mejor posicionados en GitHub, los lenguajes de programación más comunes son Python, C.
¿Cómo se calcula la clasificación de los repositorios de #linear-attention?
Seguimos 7 repositorios activos de código abierto etiquetados con #linear-attention (500+ estrellas), que suman un total de 31,942 estrellas, con una media de 4,563 estrellas por repositorio. Las clasificaciones se actualizan diariamente a partir de la API de GitHub.