#flash-attention Repositórios
Descubra 48 repositórios ativos de código aberto no GitHub marcados com #flash-attention, acumulando um total de 156,291 estrelas (uma média de 3,256 por projeto). O líder deste tópico é deepseek-ai/DeepSeek-OCR, com 24,180 estrelas.
48 repositórios no total
O repositório oficial do chat e do modelo de linguagem grande pré-treinado Qwen (通义千问) proposto pela Alibaba Cloud.
Um livro de código aberto com notas de aprendizado sobre CUDA moderno para iniciantes — BF16/FP8/FP4, HGEMM, CuTe, Flash-Attention etc.
Lançamento oficial da série InternLM (InternLM, InternLM2, InternLM2.5, InternLM3).
Projeto de Segunda Fase dos Grandes Modelos LLaMA-2 e Alpaca-2 em Chinês + Modelos de Contexto Ultralongo de 64K (Chinese LLaMA-2 & Alpaca-2 LLMs with 64K long context models)
Este é um projeto simples de tutorial de divulgação científica e técnica, focado principalmente em explicar alguns conceitos e princípios técnicos interessantes e de ponta. Cada artigo deve ser lido em 5 minutos.
📚Uma lista selecionada de artigos incríveis sobre Inferência de LLM/VLM com Códigos: Flash-Attention, Paged-Attention, WINT8/4, Parallelism, etc.🎉
Uma biblioteca de inferência rápida para executar LLMs localmente em GPUs de classe de consumidor modernas
Qwen3-ASR é uma série de modelos ASR open-source desenvolvida pela equipe Qwen da Alibaba Cloud, que suporta reconhecimento estável de fala/música/canção multilíngue, detecção de idioma e previsão de timestamps.
Base de código oficial para "Self Forcing: Preenchendo a lacuna entre Treinamento e Inferência em Difusão de Vídeo Autorregressiva" (Destaque do NeurIPS 2025)
[ECCV 2024] Implementação oficial do código de Vary: Ampliando o Vocabulário Visual de Grandes Modelos de Visão e Linguagem.
Fornecer rodas de pacotes pré-construídas do flash-attention 2 e 3 no Linux e Windows usando GitHub Actions
SoulX-FlashTalk é o primeiro modelo 14B a alcançar latência de inicialização inferior a um segundo (0,87s) enquanto mantém um throughput em tempo real de 32 FPS em um nó 8xH800.
Construção de Robôs de Propósito Geral Baseada em Modelo de Fundação Incorporado
Flash Attention em ~100 linhas de CUDA (apenas passagem para frente)
O cuDNN Frontend é o ponto de entrada moderno e de código aberto da NVIDIA para a biblioteca cuDNN e uma coleção crescente de kernels de código aberto de alto desempenho.
Uma Atenção Distribuída para a Escalabilidade Linear em Contextos Ultralongos e Treinamento de Dados Heterogêneos
Lumina-Image 2.0: Uma Estrutura Generativa de Imagem Unificada e Eficiente
Uma base de código flexível e eficiente para o treinamento de modelos de linguagem condicionados visualmente (VLMs)
Uma biblioteca abrangente para implementar LLMs, incluindo um pipeline de treinamento unificado e avaliação abrangente de modelos.
rCM & Causal-rCM: Algoritmos/infraestruturas líderes e unificados para destilação de difusão de vídeo bidirecional/autorregressiva em escala
[ICCV 2023] StreamPETR: Explorando a Modelagem Temporal Centrada em Objetos para Detecção Eficiente de Objetos 3D Multivisão
Otimização de memória e receitas de treinamento para extrapolar o comprimento de contexto dos modelos de linguagem para 1 milhão de tokens, com hardware mínimo.
[CVPR 2026 Destaque] Implementações Oficiais para o Artigo - HoloCine: Geração Holística de Narrativas de Vídeo Longo Multi-Shot Cinematográficas
Implementação em PyTorch de "V* : Busca Visual Guiada como um Mecanismo Central em LLMs Multimodais"
[Melhor Artigo ICML 2024] Modelagem de Difusão Discreta Estimando as Razões da Distribuição dos Dados (https://arxiv.org/abs/2310.16834)
WeDLM: O modelo de linguagem de difusão mais rápido com atenção causal padrão e compatibilidade nativa com cache KV, entregando acelerações reais em comparação com as linhas de base otimizadas com vLLM.
Do professor aos blocos — um mecanismo de destilação e serviço de LLM construído do zero: kernels Triton/CUDA personalizados, destilação FSDP, processamento em lote contínuo com KV paginado, decodificação especulativa, um gateway Rust, um oráculo JAX e ferramentas de interpretabilidade.
[ICLR 2025] DuoAttention: Inferência Eficiente de LLM de Contexto Longo com Cabeças de Recuperação e Streaming
Perguntas Frequentes
Qual é o repositório de #flash-attention mais popular no GitHub?
O projeto de código aberto de #flash-attention mais bem classificado no GitHub é deepseek-ai/DeepSeek-OCR, com 24,180 estrelas. Contextos de compressão óptica
Quais linguagens de programação são mais usadas nos repositórios de #flash-attention?
Entre os projetos de #flash-attention mais bem classificados no GitHub, as linguagens de programação mais comuns são Python, Cuda, TeX, C++.
Como é calculada a classificação dos repositórios de #flash-attention?
Acompanhamos 48 repositórios ativos de código aberto marcados com #flash-attention (com mais de 500 estrelas), totalizando 156,291 estrelas e uma média de 3,256 estrelas por repositório. As classificações são atualizadas diariamente a partir da API do GitHub.