#attention-mechanism Repositorios
Descubre 50 repositorios activos de código abierto de GitHub etiquetados con #attention-mechanism, que acumulan 274,514 estrellas en total (una media de 5,490 estrellas por proyecto). El líder de este tema es rasbt/LLMs-from-scratch, con 108,745 estrellas.
50 repositorios en total
Implementación de Vision Transformer, una forma sencilla de lograr SOTA en clasificación de visión con un solo codificador transformer en Pytorch
《Redes neuronales y aprendizaje profundo》 de Qiu Xipeng, segunda edición y edición de divulgación general: libro electrónico, índice de capítulos, recursos de aprendizaje y erratas.
RWKV (pronunciado RwaKuv) es un RNN con un gran rendimiento de LLM, que también se puede entrenar directamente como un transformer GPT (paralelizable). Estamos en RWKV-7 "Goose". Por lo tanto, combina lo mejor de RNN y transformer: gran rendimiento, tiempo lineal, espacio constante (sin caché kv), entrenamiento rápido, ctx_len infinito y incrustación de oraciones gratuita.
Bloques de construcción de Transformers hackeables y optimizados, que admiten una construcción componible.
Un transformer de atención completa conciso pero completo con un conjunto de características experimentales prometedoras de varios artículos
Implementación / replicación de DALL-E, el Transformer de Texto a Imagen de OpenAI, en Pytorch
Una lista finalmente completa de artículos sobre Vision Transformer/Attention, que incluye artículos, códigos y sitios web relacionados
RuVector proporciona toma de decisiones y memoria de agentes de alto rendimiento en tiempo real, IA autodidacta y una base de datos GNN vectorial desarrollada en Rust.
Construye un LLM moderno desde cero. Cada línea comentada. Explicado como si tuviéramos cinco años.
[NeurIPS 2025] YOLOv12: Detectores de objetos en tiempo real centrados en la atención
Reconocimiento automático de voz multilingüe con marcas de tiempo a nivel de palabra y confianza
Este es el repositorio oficial de "The Hundred-Page Language Models Book" de Andriy Burkov
Aprende los internos de LLM paso a paso - desde la tokenización hasta la atención y la optimización de inferencia.
Implementación de SoundStorm, generación de audio paralela eficiente de Google Deepmind, en Pytorch
Código PyTorch para nuestro artículo ECCV 2018 "Image Super-Resolution Using Very Deep Residual Channel Attention Networks"
Implementación de Perceiver, Percepción General con Atención Iterativa, en Pytorch
Marco de secuencia a secuencia con enfoque en Traducción Automática Neuronal basado en PyTorch
Una biblioteca de aprendizaje profundo para la clasificación de tareas (señales) de EEG, basada en TensorFlow.
Una lista curada de recursos de NLP enfocada en redes Transformer, mecanismo de atención, GPT, BERT, ChatGPT, LLMs y aprendizaje por transferencia.
Implementación de TabTransformer, una red de atención para datos tabulares, en Pytorch
La implementación oficial para [NeurIPS2025 Oral] Atención con Compuerta (Gated Attention) para Grandes Modelos de Lenguaje: No linealidad, Esparsidad y Libre de Attention-Sink
Implementación de Aprendizaje Profundo de Instancias Múltiples Basado en Atención en PyTorch
Transformer basado en una variante de atención que tiene complejidad lineal con respecto a la longitud de la secuencia
[IJCV] FastComposer: Generación de imágenes multisujeto sin ajuste con atención localizada
[ECCV 2020] Aprendizaje de características enriquecidas para la restauración y mejora de imágenes reales. Resultados SOTA para eliminación de ruido, superresolución y mejora de imágenes.
basado en el proyecto de alto nivel yolo (detectar\poseer\clasificar\segmentar\): incluye YOLOv5\YOLOv7\YOLOv8\ Core, investigación de mejora, SwinTransformerV2 y Attention Series. habilidades de entrenamiento, personalización de negocios, despliegue de ingeniería C
MORAN: Una Red de Atención Rectificada para Múltiples Objetos para el Reconocimiento de Texto en Escenas
[CVPR'26] ObjectClear: Eliminación precisa de objetos y efectos con atención adaptativa orientada al objetivo
Logra el paso de inferencia de llama3 paso a paso, comprende los conceptos centrales, domina la derivación del proceso, implementa el código.
Una herramienta de análisis visual para explorar representaciones aprendidas en modelos de Transformers
[CVPR 2021, Oral] PREDATOR: Registro de nubes de puntos 3D con baja superposición.
[ICLR2025 Spotlight🔥] Implementación oficial de TokenFormer: Repensando el escalado de Transformers con parámetros de modelo tokenizados
Implementación de Enformer, la red de atención de Deepmind para predecir la expresión génica, en Pytorch
[IGARSS'22]: Una Red Siamés Basada en Transformadores para la Detección de Cambios
Implementación de 💍 Ring Attention, de Liu et al. de Berkeley AI, en Pytorch
Democratización de RT-2 "RT-2: El nuevo modelo traduce la visión y el lenguaje en acción"
La implementación oficial de PyTorch del artículo "SAITS: Imputación basada en Auto-Atención para Series Temporales". Un modelo de red neuronal de aprendizaje profundo rápido y de vanguardia (SOTA) para la imputación eficiente de series temporales (imputar series temporales multivariadas incompletas que contienen datos/valores faltantes NaN con aprendizaje automático). https://arxiv.org/abs/2202.08516
Preguntas frecuentes
¿Cuál es el repositorio de #attention-mechanism más popular en GitHub?
El proyecto de código abierto de #attention-mechanism mejor posicionado en GitHub es rasbt/LLMs-from-scratch, con 108,745 estrellas. Implementa un LLM similar a ChatGPT en PyTorch desde cero, paso a paso
¿Qué lenguajes de programación se utilizan más en los repositorios de #attention-mechanism?
Entre los proyectos de #attention-mechanism mejor posicionados en GitHub, los lenguajes de programación más comunes son Python, Jupyter Notebook, Rust, Swift.
¿Cómo se calcula la clasificación de los repositorios de #attention-mechanism?
Seguimos 50 repositorios activos de código abierto etiquetados con #attention-mechanism (500+ estrellas), que suman un total de 274,514 estrellas, con una media de 5,490 estrellas por repositorio. Las clasificaciones se actualizan diariamente a partir de la API de GitHub.