Git Stars Git Stars

#attention-mechanism Repositorios

Descubre 50 repositorios activos de código abierto de GitHub etiquetados con #attention-mechanism, que acumulan 274,514 estrellas en total (una media de 5,490 estrellas por proyecto). El líder de este tema es rasbt/LLMs-from-scratch, con 108,745 estrellas.

50
Total de Repositorios
274,514
Total de estrellas
5,490
Promedio de Estrellas/Repo

50 repositorios en total

1
rasbt/LLMs-from-scratch

Implementa un LLM similar a ChatGPT en PyTorch desde cero, paso a paso

rasbt
⭐ 108,745 Jupyter Notebook 👤 rasbt User 🕐 Actualizado 2026-11-20 📅 Creado 2023-07-23
2
lucidrains/vit-pytorch

Implementación de Vision Transformer, una forma sencilla de lograr SOTA en clasificación de visión con un solo codificador transformer en Pytorch

lucidrains
⭐ 25,588 Python 👤 lucidrains User 🕐 Actualizado 2026-11-07 📅 Creado 2020-10-03
3
Dao-AILab/flash-attention

Atención exacta rápida y eficiente en memoria

Dao-AILab
⭐ 25,330 Python 👤 Dao-AILab Organization 🕐 Actualizado 2026-11-21 📅 Creado 2022-05-19
4
nndl/nndl

《Redes neuronales y aprendizaje profundo》 de Qiu Xipeng, segunda edición y edición de divulgación general: libro electrónico, índice de capítulos, recursos de aprendizaje y erratas.

nndl
⭐ 19,627 👤 nndl Organization 🕐 Actualizado 2026-09-06 📅 Creado 2016-09-06
5
BlinkDL/RWKV-LM

RWKV (pronunciado RwaKuv) es un RNN con un gran rendimiento de LLM, que también se puede entrenar directamente como un transformer GPT (paralelizable). Estamos en RWKV-7 "Goose". Por lo tanto, combina lo mejor de RNN y transformer: gran rendimiento, tiempo lineal, espacio constante (sin caché kv), entrenamiento rápido, ctx_len infinito y incrustación de oraciones gratuita.

BlinkDL
⭐ 14,786 Python 👤 BlinkDL User 🕐 Actualizado 2026-11-04 📅 Creado 2021-08-08
6
facebookresearch/xformers

Bloques de construcción de Transformers hackeables y optimizados, que admiten una construcción componible.

facebookresearch
⭐ 10,579 Python 👤 facebookresearch Organization 🕐 Actualizado 2026-11-13 📅 Creado 2021-10-13
7
lucidrains/x-transformers

Un transformer de atención completa conciso pero completo con un conjunto de características experimentales prometedoras de varios artículos

lucidrains
⭐ 5,966 Python 👤 lucidrains User 🕐 Actualizado 2026-11-18 📅 Creado 2020-10-24
8
lucidrains/DALLE-pytorch

Implementación / replicación de DALL-E, el Transformer de Texto a Imagen de OpenAI, en Pytorch

lucidrains
⭐ 5,632 Python 👤 lucidrains User 🕐 Actualizado 2024-02-17 📅 Creado 2021-01-05
9
cmhungsteve/Awesome-Transformer-Attention

Una lista finalmente completa de artículos sobre Vision Transformer/Attention, que incluye artículos, códigos y sitios web relacionados

cmhungsteve
⭐ 4,987 👤 cmhungsteve User 🕐 Actualizado 2024-07-30 📅 Creado 2021-09-15
10
ruvnet/RuVector

RuVector proporciona toma de decisiones y memoria de agentes de alto rendimiento en tiempo real, IA autodidacta y una base de datos GNN vectorial desarrollada en Rust.

ruvnet
⭐ 4,713 Rust 👤 ruvnet User 🕐 Actualizado 2026-11-21 📅 Creado 2025-11-19
11
raiyanyahya/how-to-train-your-gpt

Construye un LLM moderno desde cero. Cada línea comentada. Explicado como si tuviéramos cinco años.

raiyanyahya
⭐ 4,183 Jupyter Notebook 👤 raiyanyahya User 🕐 Actualizado 2026-10-26 📅 Creado 2026-05-03
12
MLNLP-World/LLMs-from-scratch-CN

Traducción china del proyecto LLMs-from-scratch

MLNLP-World
⭐ 3,100 Jupyter Notebook 👤 MLNLP-World Organization 🕐 Actualizado 2026-04-19 📅 Creado 2025-01-20
13
sunsmarterjie/yolov12

[NeurIPS 2025] YOLOv12: Detectores de objetos en tiempo real centrados en la atención

sunsmarterjie
⭐ 2,967 Python 👤 sunsmarterjie User 🕐 Actualizado 2026-10-25 📅 Creado 2025-02-06
14
linto-ai/whisper-timestamped

Reconocimiento automático de voz multilingüe con marcas de tiempo a nivel de palabra y confianza

linto-ai
⭐ 2,860 Python 👤 linto-ai Organization 🕐 Actualizado 2026-09-28 📅 Creado 2023-01-13
15
philipperemy/keras-attention

Capa de Atención de Keras (puntuaciones Luong y Bahdanau).

philipperemy
⭐ 2,809 Python 👤 philipperemy User 🕐 Actualizado 2026-03-12 📅 Creado 2017-05-23
16
aburkov/theLMbook

Este es el repositorio oficial de "The Hundred-Page Language Models Book" de Andriy Burkov

aburkov
⭐ 2,194 Jupyter Notebook 👤 aburkov User 🕐 Actualizado 2026-02-08 📅 Creado 2024-06-28
17
flybirdxx/ComfyUI-Qwen-TTS

Una implementación simple de la ComfyUI de Qwen3-TTS

flybirdxx
⭐ 1,981 Python 👤 flybirdxx User 🕐 Actualizado 2026-11-10 📅 Creado 2026-01-22
18
amitshekhariitbhu/llm-internals

Aprende los internos de LLM paso a paso - desde la tokenización hasta la atención y la optimización de inferencia.

amitshekhariitbhu
⭐ 1,774 👤 amitshekhariitbhu User 🕐 Actualizado 2026-11-20 📅 Creado 2026-04-12
19
lucidrains/soundstorm-pytorch

Implementación de SoundStorm, generación de audio paralela eficiente de Google Deepmind, en Pytorch

lucidrains
⭐ 1,545 Python 👤 lucidrains User 🕐 Actualizado 2025-04-24 📅 Creado 2023-05-17
20
yulunzhang/RCAN

Código PyTorch para nuestro artículo ECCV 2018 "Image Super-Resolution Using Very Deep Residual Channel Attention Networks"

yulunzhang
⭐ 1,497 Python 👤 yulunzhang User 🕐 Actualizado 2025-04-01 📅 Creado 2018-07-03
22
meta-pytorch/attention-gym

Herramientas y ejemplos útiles para trabajar con flex-attention

meta-pytorch
⭐ 1,274 Python 👤 meta-pytorch Organization 🕐 Actualizado 2026-11-21 📅 Creado 2024-07-31
23
lucidrains/perceiver-pytorch

Implementación de Perceiver, Percepción General con Atención Iterativa, en Pytorch

lucidrains
⭐ 1,223 Python 👤 lucidrains User 🕐 Actualizado 2026-10-26 📅 Creado 2021-03-05
24
awslabs/sockeye

Marco de secuencia a secuencia con enfoque en Traducción Automática Neuronal basado en PyTorch

awslabs
⭐ 1,217 Python 👤 awslabs Organization 🕐 Actualizado 2024-10-24 📅 Creado 2017-06-08
25
chengtan9907/OpenSTL

OpenSTL: Un benchmark completo de aprendizaje predictivo espacio-temporal

chengtan9907
⭐ 1,165 Python 👤 chengtan9907 User 🕐 Actualizado 2026-03-01 📅 Creado 2022-07-27
26
SuperBruceJia/EEG-DL

Una biblioteca de aprendizaje profundo para la clasificación de tareas (señales) de EEG, basada en TensorFlow.

SuperBruceJia
⭐ 1,162 Python 👤 SuperBruceJia User 🕐 Actualizado 2025-07-20 📅 Creado 2020-04-30
27
cedrickchee/awesome-transformer-nlp

Una lista curada de recursos de NLP enfocada en redes Transformer, mecanismo de atención, GPT, BERT, ChatGPT, LLMs y aprendizaje por transferencia.

cedrickchee
⭐ 1,124 👤 cedrickchee User 🕐 Actualizado 2024-10-27 📅 Creado 2019-01-13
28
lucidrains/tab-transformer-pytorch

Implementación de TabTransformer, una red de atención para datos tabulares, en Pytorch

lucidrains
⭐ 1,097 Python 👤 lucidrains User 🕐 Actualizado 2026-01-08 📅 Creado 2020-12-15
29
qiuzh20/gated_attention

La implementación oficial para [NeurIPS2025 Oral] Atención con Compuerta (Gated Attention) para Grandes Modelos de Lenguaje: No linealidad, Esparsidad y Libre de Attention-Sink

qiuzh20
⭐ 994 Jupyter Notebook 👤 qiuzh20 User 🕐 Actualizado 2025-12-20 📅 Creado 2025-05-09
30
AMLab-Amsterdam/AttentionDeepMIL

Implementación de Aprendizaje Profundo de Instancias Múltiples Basado en Atención en PyTorch

AMLab-Amsterdam
⭐ 965 Python 👤 AMLab-Amsterdam Organization 🕐 Actualizado 2024-01-08 📅 Creado 2018-02-26
31
lucidrains/linear-attention-transformer

Transformer basado en una variante de atención que tiene complejidad lineal con respecto a la longitud de la secuencia

lucidrains
⭐ 821 Python 👤 lucidrains User 🕐 Actualizado 2024-05-05 📅 Creado 2020-06-04
32
mit-han-lab/fastcomposer

[IJCV] FastComposer: Generación de imágenes multisujeto sin ajuste con atención localizada

mit-han-lab
⭐ 716 Python 👤 mit-han-lab Organization 🕐 Actualizado 2025-01-10 📅 Creado 2023-05-17
33
swz30/MIRNet

[ECCV 2020] Aprendizaje de características enriquecidas para la restauración y mejora de imágenes reales. Resultados SOTA para eliminación de ruido, superresolución y mejora de imágenes.

swz30
⭐ 708 Python 👤 swz30 User 🕐 Actualizado 2024-04-18 📅 Creado 2020-03-11
34
positive666/yolo_research

basado en el proyecto de alto nivel yolo (detectar\poseer\clasificar\segmentar\): incluye YOLOv5\YOLOv7\YOLOv8\ Core, investigación de mejora, SwinTransformerV2 y Attention Series. habilidades de entrenamiento, personalización de negocios, despliegue de ingeniería C

positive666
⭐ 667 Python 👤 positive666 User 🕐 Actualizado 2026-04-27 📅 Creado 2021-02-25
35
Canjie-Luo/MORAN_v2

MORAN: Una Red de Atención Rectificada para Múltiples Objetos para el Reconocimiento de Texto en Escenas

Canjie-Luo
⭐ 648 Python 👤 Canjie-Luo User 🕐 Actualizado 2024-07-25 📅 Creado 2019-01-09
36
zjx0101/ObjectClear

[CVPR'26] ObjectClear: Eliminación precisa de objetos y efectos con atención adaptativa orientada al objetivo

zjx0101
⭐ 634 Python 👤 zjx0101 User 🕐 Actualizado 2026-08-03 📅 Creado 2025-05-28
37
therealoliver/Deepdive-llama3-from-scratch

Logra el paso de inferencia de llama3 paso a paso, comprende los conceptos centrales, domina la derivación del proceso, implementa el código.

therealoliver
⭐ 629 Jupyter Notebook 👤 therealoliver User 🕐 Actualizado 2025-02-24 📅 Creado 2025-02-19
38
kyegomez/zeta

Cree modelos de IA de alto rendimiento con bloques de construcción modulares

kyegomez
⭐ 605 Python 👤 kyegomez User 🕐 Actualizado 2026-11-16 📅 Creado 2023-07-09
39
bhoov/exbert

Una herramienta de análisis visual para explorar representaciones aprendidas en modelos de Transformers

bhoov
⭐ 602 Python 👤 bhoov User 🕐 Actualizado 2024-02-07 📅 Creado 2019-10-14
40
prs-eth/OverlapPredator

[CVPR 2021, Oral] PREDATOR: Registro de nubes de puntos 3D con baja superposición.

prs-eth
⭐ 599 Python 👤 prs-eth Organization 🕐 Actualizado 2025-02-20 📅 Creado 2020-11-24
41
Haiyang-W/TokenFormer

[ICLR2025 Spotlight🔥] Implementación oficial de TokenFormer: Repensando el escalado de Transformers con parámetros de modelo tokenizados

Haiyang-W
⭐ 590 Python 👤 Haiyang-W User 🕐 Actualizado 2025-02-11 📅 Creado 2024-10-29
43
lucidrains/enformer-pytorch

Implementación de Enformer, la red de atención de Deepmind para predecir la expresión génica, en Pytorch

lucidrains
⭐ 576 Python 👤 lucidrains User 🕐 Actualizado 2026-06-26 📅 Creado 2021-10-23
44
philipturner/metal-flash-attention

FlashAttention (Puerto de Metal)

philipturner
⭐ 570 Swift 👤 philipturner User 🕐 Actualizado 2024-09-22 📅 Creado 2023-06-23
45
wgcban/ChangeFormer

[IGARSS'22]: Una Red Siamés Basada en Transformadores para la Detección de Cambios

wgcban
⭐ 555 Python 👤 wgcban User 🕐 Actualizado 2024-01-31 📅 Creado 2021-12-02
46
lucidrains/ring-attention-pytorch

Implementación de 💍 Ring Attention, de Liu et al. de Berkeley AI, en Pytorch

lucidrains
⭐ 547 Python 👤 lucidrains User 🕐 Actualizado 2025-05-16 📅 Creado 2024-02-14
47
kyegomez/RT-2

Democratización de RT-2 "RT-2: El nuevo modelo traduce la visión y el lenguaje en acción"

kyegomez
⭐ 539 Python 👤 kyegomez User 🕐 Actualizado 2024-07-26 📅 Creado 2023-07-28
48
WenjieDu/SAITS

La implementación oficial de PyTorch del artículo "SAITS: Imputación basada en Auto-Atención para Series Temporales". Un modelo de red neuronal de aprendizaje profundo rápido y de vanguardia (SOTA) para la imputación eficiente de series temporales (imputar series temporales multivariadas incompletas que contienen datos/valores faltantes NaN con aprendizaje automático). https://arxiv.org/abs/2202.08516

WenjieDu
⭐ 521 Python 👤 WenjieDu User 🕐 Actualizado 2026-08-25 📅 Creado 2021-12-07
49
zhengchen1999/DAT

[ICCV'23] Transformador de Agregación Dual para Superresolución de Imágenes

zhengchen1999
⭐ 517 Python 👤 zhengchen1999 User 🕐 Actualizado 2024-11-26 📅 Creado 2022-11-10
50
lucidrains/slot-attention

Implementación de Slot Attention de Google AI

lucidrains
⭐ 502 Python 👤 lucidrains User 🕐 Actualizado 2026-06-06 📅 Creado 2020-06-29

Preguntas frecuentes

1

¿Cuál es el repositorio de #attention-mechanism más popular en GitHub?

El proyecto de código abierto de #attention-mechanism mejor posicionado en GitHub es rasbt/LLMs-from-scratch, con 108,745 estrellas. Implementa un LLM similar a ChatGPT en PyTorch desde cero, paso a paso

2

¿Qué lenguajes de programación se utilizan más en los repositorios de #attention-mechanism?

Entre los proyectos de #attention-mechanism mejor posicionados en GitHub, los lenguajes de programación más comunes son Python, Jupyter Notebook, Rust, Swift.

3

¿Cómo se calcula la clasificación de los repositorios de #attention-mechanism?

Seguimos 50 repositorios activos de código abierto etiquetados con #attention-mechanism (500+ estrellas), que suman un total de 274,514 estrellas, con una media de 5,490 estrellas por repositorio. Las clasificaciones se actualizan diariamente a partir de la API de GitHub.