#sparse-attention Repositórios
Descubra 18 repositórios ativos de código aberto no GitHub marcados com #sparse-attention, acumulando um total de 62,491 estrelas (uma média de 3,471 por projeto). O líder deste tópico é deepseek-ai/FlashMLA, com 13,275 estrelas.
18 repositórios no total
Este projeto visa reproduzir Sora (modelo T2V da OpenAI), e desejamos que a comunidade de código aberto contribua para este projeto.
Propomos o Prism, uma estrutura de atenção esparsa dinâmica para treinar nativamente modelos de geração conjunta de vídeo e áudio em 2K.
[ICML2025] SpargeAttention: Uma atenção esparsa sem treinamento que acelera qualquer inferência de modelo.
[Destaque NeurIPS'24, ICLR'25, ICML'25] Para acelerar a inferência de LLMs de contexto longo, o cálculo esparso, aproximado e dinâmico é aplicado à atenção, o que reduz a latência de inferência em até 10x no pré-preenchimento em uma A100, mantendo a precisão.
🐳 Implementações Triton eficientes para "Atenção Esparsa Nativa: Atenção Esparsa Alinhada ao Hardware e Nativa para Treinamento"
[MLSys'25] QServe: Quantização W4A8KV4 e Co-design de Sistema para Servir LLM de Forma Eficiente; [MLSys'25] LServe: Servir LLM de Sequência Longa de Forma Eficiente com Atenção Esparsa Unificada
Implementação do padrão de atenção esparsa proposto pela equipe Deepseek em seu artigo "Native Sparse Attention"
[ICML2025, NeurIPS2025 Destaque] Sparse VideoGen 1 & 2: Acelerando Transformadores de Difusão de Vídeo com Atenção Esparsa
[NeurIPS 2025] Atenção Radial: Atenção Esparsa O(nlogn) com Decaimento de Energia para Geração de Vídeos Longos
SLA: Além da esparsidade em transformadores de difusão por meio de atenção esparsa-linear ajustável
Perguntas Frequentes
Qual é o repositório de #sparse-attention mais popular no GitHub?
O projeto de código aberto de #sparse-attention mais bem classificado no GitHub é deepseek-ai/FlashMLA, com 13,275 estrelas. FlashMLA: Núcleos Eficientes de Atenção Latente de Múltiplas Cabeças
Quais linguagens de programação são mais usadas nos repositórios de #sparse-attention?
Entre os projetos de #sparse-attention mais bem classificados no GitHub, as linguagens de programação mais comuns são Python, C++, Jupyter Notebook, Cuda.
Como é calculada a classificação dos repositórios de #sparse-attention?
Acompanhamos 18 repositórios ativos de código aberto marcados com #sparse-attention (com mais de 500 estrelas), totalizando 62,491 estrelas e uma média de 3,471 estrelas por repositório. As classificações são atualizadas diariamente a partir da API do GitHub.