Git Stars Git Stars

#attention-mechanism Repositórios

Descubra 50 repositórios ativos de código aberto no GitHub marcados com #attention-mechanism, acumulando um total de 274,514 estrelas (uma média de 5,490 por projeto). O líder deste tópico é rasbt/LLMs-from-scratch, com 108,745 estrelas.

50
Total de Repositórios
274,514
Total de estrelas
5,490
Média de Estrelas/Repositório
Linguagens de programação: Python Jupyter Notebook Rust Swift

50 repositórios no total

1
rasbt/LLMs-from-scratch

Implementar um LLM semelhante ao ChatGPT em PyTorch do zero, passo a passo

rasbt
⭐ 108,745 Jupyter Notebook 👤 rasbt User 🕐 Atualizado 2026-11-20 📅 Criado 2023-07-23
2
lucidrains/vit-pytorch

Implementação do Vision Transformer, uma maneira simples de alcançar o SOTA em classificação de visão com apenas um único codificador transformador, em Pytorch

lucidrains
⭐ 25,588 Python 👤 lucidrains User 🕐 Atualizado 2026-11-07 📅 Criado 2020-10-03
3
Dao-AILab/flash-attention

Atenção exata rápida e com eficiência de memória

Dao-AILab
⭐ 25,330 Python 👤 Dao-AILab Organization 🕐 Atualizado 2026-11-21 📅 Criado 2022-05-19
4
nndl/nndl

《Redes neurais e aprendizagem profunda》 de Qiu Xipeng, segunda edição e edição de divulgação geral: livro eletrónico, índice dos capítulos, recursos de aprendizagem e errata.

nndl
⭐ 19,627 👤 nndl Organization 🕐 Atualizado 2026-09-06 📅 Criado 2016-09-06
5
BlinkDL/RWKV-LM

RWKV (pronuncia-se RwaKuv) é uma RNN com ótimo desempenho de LLM, que também pode ser treinada diretamente como um transformador GPT (paralelizável). Estamos no RWKV-7 "Goose". Portanto, ele combina o melhor de RNN e transformador - ótimo desempenho, tempo linear, espaço constante (sem cache kv), treinamento rápido, ctx_len infinito e embedding de frase gratuito.

BlinkDL
⭐ 14,786 Python 👤 BlinkDL User 🕐 Atualizado 2026-11-04 📅 Criado 2021-08-08
6
facebookresearch/xformers

Blocos de construção de Transformers otimizados e personalizáveis, que suportam uma construção composável.

facebookresearch
⭐ 10,579 Python 👤 facebookresearch Organization 🕐 Atualizado 2026-11-13 📅 Criado 2021-10-13
7
lucidrains/x-transformers

Um transformer conciso, mas completo, com atenção total e um conjunto de recursos experimentais promissores de vários artigos

lucidrains
⭐ 5,966 Python 👤 lucidrains User 🕐 Atualizado 2026-11-18 📅 Criado 2020-10-24
8
lucidrains/DALLE-pytorch

Implementação / replicação do DALL-E, o Transformador de Texto para Imagem da OpenAI, em Pytorch

lucidrains
⭐ 5,632 Python 👤 lucidrains User 🕐 Atualizado 2024-02-17 📅 Criado 2021-01-05
9
cmhungsteve/Awesome-Transformer-Attention

Uma lista definitiva e abrangente de artigos sobre Vision Transformer/Attention, incluindo artigos, códigos e sites relacionados

cmhungsteve
⭐ 4,987 👤 cmhungsteve User 🕐 Atualizado 2024-07-30 📅 Criado 2021-09-15
10
ruvnet/RuVector

A RuVector oferece tomada de decisões e memória de agentes de alto desempenho em tempo real, IA autodidata e um banco de dados GNN vetorial desenvolvido em Rust.

ruvnet
⭐ 4,713 Rust 👤 ruvnet User 🕐 Atualizado 2026-11-21 📅 Criado 2025-11-19
11
raiyanyahya/how-to-train-your-gpt

Construa um LLM moderno do zero. Cada linha comentada. Explicado como se tivéssemos cinco anos.

raiyanyahya
⭐ 4,183 Jupyter Notebook 👤 raiyanyahya User 🕐 Atualizado 2026-10-26 📅 Criado 2026-05-03
12
MLNLP-World/LLMs-from-scratch-CN

Tradução chinesa do projeto LLMs-from-scratch

MLNLP-World
⭐ 3,100 Jupyter Notebook 👤 MLNLP-World Organization 🕐 Atualizado 2026-04-19 📅 Criado 2025-01-20
13
sunsmarterjie/yolov12

[NeurIPS 2025] YOLOv12: Detectores de Objetos em Tempo Real com Foco em Atenção

sunsmarterjie
⭐ 2,967 Python 👤 sunsmarterjie User 🕐 Atualizado 2026-10-25 📅 Criado 2025-02-06
14
linto-ai/whisper-timestamped

Reconhecimento Automático de Fala Multilíngue com carimbos de tempo e confiança a nível de palavra

linto-ai
⭐ 2,860 Python 👤 linto-ai Organization 🕐 Atualizado 2026-09-28 📅 Criado 2023-01-13
15
philipperemy/keras-attention

Camada de Atenção do Keras (pontuações Luong e Bahdanau).

philipperemy
⭐ 2,809 Python 👤 philipperemy User 🕐 Atualizado 2026-03-12 📅 Criado 2017-05-23
16
aburkov/theLMbook

Este é o repositório oficial do livro The Hundred-Page Language Models de Andriy Burkov

aburkov
⭐ 2,194 Jupyter Notebook 👤 aburkov User 🕐 Atualizado 2026-02-08 📅 Criado 2024-06-28
17
flybirdxx/ComfyUI-Qwen-TTS

Uma implementação simples da ComfyUI do Qwen3-TTS

flybirdxx
⭐ 1,981 Python 👤 flybirdxx User 🕐 Atualizado 2026-11-10 📅 Criado 2026-01-22
18
amitshekhariitbhu/llm-internals

Aprenda os internos do LLM passo a passo - da tokenização à atenção e otimização de inferência.

amitshekhariitbhu
⭐ 1,774 👤 amitshekhariitbhu User 🕐 Atualizado 2026-11-20 📅 Criado 2026-04-12
19
lucidrains/soundstorm-pytorch

Implementação de SoundStorm, Geração de Áudio Paralela Eficiente do Google Deepmind, em Pytorch

lucidrains
⭐ 1,545 Python 👤 lucidrains User 🕐 Atualizado 2025-04-24 📅 Criado 2023-05-17
20
yulunzhang/RCAN

Código PyTorch para nosso artigo ECCV 2018 "Image Super-Resolution Using Very Deep Residual Channel Attention Networks"

yulunzhang
⭐ 1,497 Python 👤 yulunzhang User 🕐 Atualizado 2025-04-01 📅 Criado 2018-07-03
22
meta-pytorch/attention-gym

Ferramentas úteis e exemplos para trabalhar com flex-attention

meta-pytorch
⭐ 1,274 Python 👤 meta-pytorch Organization 🕐 Atualizado 2026-11-21 📅 Criado 2024-07-31
23
lucidrains/perceiver-pytorch

Implementação do Perceiver, Percepção Geral com Atenção Iterativa, em Pytorch

lucidrains
⭐ 1,223 Python 👤 lucidrains User 🕐 Atualizado 2026-10-26 📅 Criado 2021-03-05
24
awslabs/sockeye

Estrutura de sequência para sequência com foco em Tradução Automática Neural baseada em PyTorch

awslabs
⭐ 1,217 Python 👤 awslabs Organization 🕐 Atualizado 2024-10-24 📅 Criado 2017-06-08
25
chengtan9907/OpenSTL

OpenSTL: Um Benchmark Abrangente de Aprendizagem Preditiva Espaço-Temporal

chengtan9907
⭐ 1,165 Python 👤 chengtan9907 User 🕐 Atualizado 2026-03-01 📅 Criado 2022-07-27
26
SuperBruceJia/EEG-DL

Uma biblioteca de Deep Learning para Classificação de Tarefas (Sinais) de EEG, baseada em TensorFlow.

SuperBruceJia
⭐ 1,162 Python 👤 SuperBruceJia User 🕐 Atualizado 2025-07-20 📅 Criado 2020-04-30
27
cedrickchee/awesome-transformer-nlp

Uma lista selecionada de recursos de PLN focada em redes Transformer, mecanismo de atenção, GPT, BERT, ChatGPT, LLMs e aprendizado por transferência.

cedrickchee
⭐ 1,124 👤 cedrickchee User 🕐 Atualizado 2024-10-27 📅 Criado 2019-01-13
28
lucidrains/tab-transformer-pytorch

Implementação do TabTransformer, uma rede de atenção para dados tabulares, em Pytorch

lucidrains
⭐ 1,097 Python 👤 lucidrains User 🕐 Atualizado 2026-01-08 📅 Criado 2020-12-15
29
qiuzh20/gated_attention

A implementação oficial para [NeurIPS2025 Oral] Gated Attention para Grandes Modelos de Linguagem: Não-linearidade, Esparsidade e Livre de Attention-Sink

qiuzh20
⭐ 994 Jupyter Notebook 👤 qiuzh20 User 🕐 Atualizado 2025-12-20 📅 Criado 2025-05-09
30
AMLab-Amsterdam/AttentionDeepMIL

Implementação de Aprendizado Profundo de Múltiplas Instâncias Baseado em Atenção em PyTorch

AMLab-Amsterdam
⭐ 965 Python 👤 AMLab-Amsterdam Organization 🕐 Atualizado 2024-01-08 📅 Criado 2018-02-26
31
lucidrains/linear-attention-transformer

Transformer baseado em uma variante de atenção que tem complexidade linear em relação ao comprimento da sequência

lucidrains
⭐ 821 Python 👤 lucidrains User 🕐 Atualizado 2024-05-05 📅 Criado 2020-06-04
32
mit-han-lab/fastcomposer

[IJCV] FastComposer: Geração de Imagens Multi-Assunto Sem Ajuste com Atenção Localizada

mit-han-lab
⭐ 716 Python 👤 mit-han-lab Organization 🕐 Atualizado 2025-01-10 📅 Criado 2023-05-17
33
swz30/MIRNet

[ECCV 2020] Learning Enriched Features for Real Image Restoration and Enhancement. Resultados SOTA para redução de ruído de imagem, super-resolução e aprimoramento de imagem.

swz30
⭐ 708 Python 👤 swz30 User 🕐 Atualizado 2024-04-18 📅 Criado 2020-03-11
34
positive666/yolo_research

com base no projeto de alto nível yolo (detectar\pose\classificar\segmentar\):inclui yolov5\yolov7\yolov8\ core, pesquisa de melhoria, SwintransformV2 e Série de Atenção. habilidades de treinamento, personalização de negócios, implantação de engenharia C

positive666
⭐ 667 Python 👤 positive666 User 🕐 Atualizado 2026-04-27 📅 Criado 2021-02-25
35
Canjie-Luo/MORAN_v2

MORAN: Uma Rede de Atenção Retificada de Múltiplos Objetos para Reconhecimento de Texto em Cena

Canjie-Luo
⭐ 648 Python 👤 Canjie-Luo User 🕐 Atualizado 2024-07-25 📅 Criado 2019-01-09
36
zjx0101/ObjectClear

[CVPR'26] ObjectClear: Remoção Precisa de Objetos e Efeitos com Atenção Adaptativa Sensível ao Alvo

zjx0101
⭐ 634 Python 👤 zjx0101 User 🕐 Atualizado 2026-08-03 📅 Criado 2025-05-28
37
therealoliver/Deepdive-llama3-from-scratch

Alcance a inferência do llama3 passo a passo, compreenda os conceitos centrais, domine a derivação do processo e implemente o código.

therealoliver
⭐ 629 Jupyter Notebook 👤 therealoliver User 🕐 Atualizado 2025-02-24 📅 Criado 2025-02-19
38
kyegomez/zeta

Construa modelos de IA de alto desempenho com blocos de construção modulares

kyegomez
⭐ 605 Python 👤 kyegomez User 🕐 Atualizado 2026-11-16 📅 Criado 2023-07-09
39
bhoov/exbert

Uma Ferramenta de Análise Visual para Explorar Representações Aprendidas em Modelos Transformer

bhoov
⭐ 602 Python 👤 bhoov User 🕐 Atualizado 2024-02-07 📅 Criado 2019-10-14
40
prs-eth/OverlapPredator

[CVPR 2021, Oral] PREDATOR: Registro de Nuvem de Pontos 3D com Baixo Overlap.

prs-eth
⭐ 599 Python 👤 prs-eth Organization 🕐 Atualizado 2025-02-20 📅 Criado 2020-11-24
41
Haiyang-W/TokenFormer

[ICLR2025 Spotlight🔥] Implementação Oficial de TokenFormer: Repensando o Escalamento de Transformers com Parâmetros de Modelo Tokenizados

Haiyang-W
⭐ 590 Python 👤 Haiyang-W User 🕐 Atualizado 2025-02-11 📅 Criado 2024-10-29
43
lucidrains/enformer-pytorch

Implementação do Enformer, a rede de atenção do Deepmind para prever a expressão gênica, em Pytorch

lucidrains
⭐ 576 Python 👤 lucidrains User 🕐 Atualizado 2026-06-26 📅 Criado 2021-10-23
44
philipturner/metal-flash-attention

FlashAttention (Porta Metal)

philipturner
⭐ 570 Swift 👤 philipturner User 🕐 Atualizado 2024-09-22 📅 Criado 2023-06-23
45
wgcban/ChangeFormer

[IGARSS'22]: Uma Rede Siamesa Baseada em Transformer para Detecção de Mudanças

wgcban
⭐ 555 Python 👤 wgcban User 🕐 Atualizado 2024-01-31 📅 Criado 2021-12-02
46
lucidrains/ring-attention-pytorch

Implementação de 💍 Ring Attention, de Liu et al. na Berkeley AI, em Pytorch

lucidrains
⭐ 547 Python 👤 lucidrains User 🕐 Atualizado 2025-05-16 📅 Criado 2024-02-14
47
kyegomez/RT-2

Democratização do RT-2 "RT-2: Novo modelo traduz visão e linguagem em ação"

kyegomez
⭐ 539 Python 👤 kyegomez User 🕐 Atualizado 2024-07-26 📅 Criado 2023-07-28
48
WenjieDu/SAITS

A implementação oficial em PyTorch do artigo "SAITS: Imputação baseada em Self-Attention para Séries Temporais". Um modelo de rede neural de aprendizado profundo rápido e de ponta (SOTA) para imputação eficiente de séries temporais (imputar séries temporais multivariadas incompletas contendo dados/valores ausentes NaN com aprendizado de máquina). https://arxiv.org/abs/2202.08516

WenjieDu
⭐ 521 Python 👤 WenjieDu User 🕐 Atualizado 2026-08-25 📅 Criado 2021-12-07
49
zhengchen1999/DAT

[ICCV'23] Transformer de Agregação Dupla para Super-Resolução de Imagens

zhengchen1999
⭐ 517 Python 👤 zhengchen1999 User 🕐 Atualizado 2024-11-26 📅 Criado 2022-11-10
50
lucidrains/slot-attention

Implementação do Slot Attention da Google AI

lucidrains
⭐ 502 Python 👤 lucidrains User 🕐 Atualizado 2026-06-06 📅 Criado 2020-06-29

Perguntas Frequentes

1

Qual é o repositório de #attention-mechanism mais popular no GitHub?

O projeto de código aberto de #attention-mechanism mais bem classificado no GitHub é rasbt/LLMs-from-scratch, com 108,745 estrelas. Implementar um LLM semelhante ao ChatGPT em PyTorch do zero, passo a passo

2

Quais linguagens de programação são mais usadas nos repositórios de #attention-mechanism?

Entre os projetos de #attention-mechanism mais bem classificados no GitHub, as linguagens de programação mais comuns são Python, Jupyter Notebook, Rust, Swift.

3

Como é calculada a classificação dos repositórios de #attention-mechanism?

Acompanhamos 50 repositórios ativos de código aberto marcados com #attention-mechanism (com mais de 500 estrelas), totalizando 274,514 estrelas e uma média de 5,490 estrelas por repositório. As classificações são atualizadas diariamente a partir da API do GitHub.