#linear-attention Repository
Scopri 7 repository GitHub open source attivi contrassegnati con #linear-attention, che raccolgono un totale di 31,942 stelle (con una media di 4,563 stelle per progetto). Il progetto leader di questo argomento è BlinkDL/RWKV-LM, con 14,786 stelle.
7 repository in totale
RWKV (pronunciato RwaKuv) è un RNN con ottime prestazioni LLM, che può anche essere addestrato direttamente come un transformer GPT (parallelizzabile). Siamo a RWKV-7 "Goose". Quindi combina il meglio di RNN e transformer - ottime prestazioni, tempo lineare, spazio costante (nessuna cache kv), addestramento veloce, ctx_len infinito e embedding di frasi gratuito.
Un modello Kimi K3 da 2,78 trilioni di parametri che esegue l'inferenza su una singola CPU con 8,24 GB di RAM. C99 portatile: niente BLAS, niente framework, niente GPU.
SLA: Oltre la sparsità nei trasformatori di diffusione tramite attenzione sparsa-lineare regolabile
Domande frequenti
Qual è il repository #linear-attention più popolare su GitHub?
Il progetto open source #linear-attention più alto in classifica su GitHub è BlinkDL/RWKV-LM, con 14,786 stelle. RWKV (pronunciato RwaKuv) è un RNN con ottime prestazioni LLM, che può anche essere addestrato direttamente come un transformer GPT (parallelizzabile). Siamo a RWKV-7 "Goose". Quindi combina il meglio di RNN e transformer - ottime prestazioni, tempo lineare, spazio costante (nessuna cache kv), addestramento veloce, ctx_len infinito e embedding di frasi gratuito.
Quali linguaggi di programmazione sono più utilizzati nei repository #linear-attention?
Tra i progetti #linear-attention più alti in classifica su GitHub, i linguaggi di programmazione più comuni sono Python, C.
Come viene calcolata la classifica dei repository #linear-attention?
Monitoriamo 7 repository open source attivi contrassegnati con #linear-attention (500+ stelle), per un totale di 31,942 stelle e una media di 4,563 stelle per repository. Le classifiche vengono aggiornate quotidianamente tramite l’API di GitHub.