#attention-mechanism Repositórios
Descubra 50 repositórios ativos de código aberto no GitHub marcados com #attention-mechanism, acumulando um total de 274,514 estrelas (uma média de 5,490 por projeto). O líder deste tópico é rasbt/LLMs-from-scratch, com 108,745 estrelas.
50 repositórios no total
Implementar um LLM semelhante ao ChatGPT em PyTorch do zero, passo a passo
Implementação do Vision Transformer, uma maneira simples de alcançar o SOTA em classificação de visão com apenas um único codificador transformador, em Pytorch
《Redes neurais e aprendizagem profunda》 de Qiu Xipeng, segunda edição e edição de divulgação geral: livro eletrónico, índice dos capítulos, recursos de aprendizagem e errata.
RWKV (pronuncia-se RwaKuv) é uma RNN com ótimo desempenho de LLM, que também pode ser treinada diretamente como um transformador GPT (paralelizável). Estamos no RWKV-7 "Goose". Portanto, ele combina o melhor de RNN e transformador - ótimo desempenho, tempo linear, espaço constante (sem cache kv), treinamento rápido, ctx_len infinito e embedding de frase gratuito.
Blocos de construção de Transformers otimizados e personalizáveis, que suportam uma construção composável.
Um transformer conciso, mas completo, com atenção total e um conjunto de recursos experimentais promissores de vários artigos
Implementação / replicação do DALL-E, o Transformador de Texto para Imagem da OpenAI, em Pytorch
Uma lista definitiva e abrangente de artigos sobre Vision Transformer/Attention, incluindo artigos, códigos e sites relacionados
A RuVector oferece tomada de decisões e memória de agentes de alto desempenho em tempo real, IA autodidata e um banco de dados GNN vetorial desenvolvido em Rust.
Construa um LLM moderno do zero. Cada linha comentada. Explicado como se tivéssemos cinco anos.
[NeurIPS 2025] YOLOv12: Detectores de Objetos em Tempo Real com Foco em Atenção
Reconhecimento Automático de Fala Multilíngue com carimbos de tempo e confiança a nível de palavra
Este é o repositório oficial do livro The Hundred-Page Language Models de Andriy Burkov
Aprenda os internos do LLM passo a passo - da tokenização à atenção e otimização de inferência.
Implementação de SoundStorm, Geração de Áudio Paralela Eficiente do Google Deepmind, em Pytorch
Código PyTorch para nosso artigo ECCV 2018 "Image Super-Resolution Using Very Deep Residual Channel Attention Networks"
Implementação do Perceiver, Percepção Geral com Atenção Iterativa, em Pytorch
Estrutura de sequência para sequência com foco em Tradução Automática Neural baseada em PyTorch
Uma biblioteca de Deep Learning para Classificação de Tarefas (Sinais) de EEG, baseada em TensorFlow.
Uma lista selecionada de recursos de PLN focada em redes Transformer, mecanismo de atenção, GPT, BERT, ChatGPT, LLMs e aprendizado por transferência.
Implementação do TabTransformer, uma rede de atenção para dados tabulares, em Pytorch
A implementação oficial para [NeurIPS2025 Oral] Gated Attention para Grandes Modelos de Linguagem: Não-linearidade, Esparsidade e Livre de Attention-Sink
Implementação de Aprendizado Profundo de Múltiplas Instâncias Baseado em Atenção em PyTorch
Transformer baseado em uma variante de atenção que tem complexidade linear em relação ao comprimento da sequência
[IJCV] FastComposer: Geração de Imagens Multi-Assunto Sem Ajuste com Atenção Localizada
[ECCV 2020] Learning Enriched Features for Real Image Restoration and Enhancement. Resultados SOTA para redução de ruído de imagem, super-resolução e aprimoramento de imagem.
com base no projeto de alto nível yolo (detectar\pose\classificar\segmentar\):inclui yolov5\yolov7\yolov8\ core, pesquisa de melhoria, SwintransformV2 e Série de Atenção. habilidades de treinamento, personalização de negócios, implantação de engenharia C
MORAN: Uma Rede de Atenção Retificada de Múltiplos Objetos para Reconhecimento de Texto em Cena
[CVPR'26] ObjectClear: Remoção Precisa de Objetos e Efeitos com Atenção Adaptativa Sensível ao Alvo
Alcance a inferência do llama3 passo a passo, compreenda os conceitos centrais, domine a derivação do processo e implemente o código.
Uma Ferramenta de Análise Visual para Explorar Representações Aprendidas em Modelos Transformer
[CVPR 2021, Oral] PREDATOR: Registro de Nuvem de Pontos 3D com Baixo Overlap.
[ICLR2025 Spotlight🔥] Implementação Oficial de TokenFormer: Repensando o Escalamento de Transformers com Parâmetros de Modelo Tokenizados
Implementação do Enformer, a rede de atenção do Deepmind para prever a expressão gênica, em Pytorch
[IGARSS'22]: Uma Rede Siamesa Baseada em Transformer para Detecção de Mudanças
Implementação de 💍 Ring Attention, de Liu et al. na Berkeley AI, em Pytorch
A implementação oficial em PyTorch do artigo "SAITS: Imputação baseada em Self-Attention para Séries Temporais". Um modelo de rede neural de aprendizado profundo rápido e de ponta (SOTA) para imputação eficiente de séries temporais (imputar séries temporais multivariadas incompletas contendo dados/valores ausentes NaN com aprendizado de máquina). https://arxiv.org/abs/2202.08516
Perguntas Frequentes
Qual é o repositório de #attention-mechanism mais popular no GitHub?
O projeto de código aberto de #attention-mechanism mais bem classificado no GitHub é rasbt/LLMs-from-scratch, com 108,745 estrelas. Implementar um LLM semelhante ao ChatGPT em PyTorch do zero, passo a passo
Quais linguagens de programação são mais usadas nos repositórios de #attention-mechanism?
Entre os projetos de #attention-mechanism mais bem classificados no GitHub, as linguagens de programação mais comuns são Python, Jupyter Notebook, Rust, Swift.
Como é calculada a classificação dos repositórios de #attention-mechanism?
Acompanhamos 50 repositórios ativos de código aberto marcados com #attention-mechanism (com mais de 500 estrelas), totalizando 274,514 estrelas e uma média de 5,490 estrelas por repositório. As classificações são atualizadas diariamente a partir da API do GitHub.