#transformer-architecture Repositorios
147 repositorios en total
PixArt-Σ: Entrenamiento de Débil a Fuerte del Transformer de Difusión para Generación de Texto a Imagen 4K
El repositorio oficial de Qwen-Audio (通义千问-Audio) chat & modelo de lenguaje de audio grande preentrenado propuesto por Alibaba Cloud.
Biblioteca autónoma de Machine Learning y Procesamiento del Lenguaje Natural en Go
Centro de información para nuestro proyecto de entrenamiento de los LLM históricos más grandes posibles.
Este repositorio contiene preguntas de entrevista de LLM (modelo de lenguaje grande) formuladas en empresas importantes como Google, Nvidia, Meta, Microsoft y empresas Fortune 500.
MobileLLM Optimización de modelos de lenguaje con menos de mil millones de parámetros para casos de uso en dispositivos. En ICML 2024.
Sistema TTS de streaming de formato largo para la generación de diálogos de varios interlocutores
La investigación en curso entrena modelos de lenguaje Transformer a gran escala, entre ellos: BERT y GPT-2
Código fuente y conjunto de datos para el artículo ACL 2019 "ERNIE: Enhanced Language Representation with Informative Entities"
(CVPR 2025) De modelos de difusión de video lentos bidireccionales a rápidos autorregresivos
[CVPR 2025 Highlight] Reconstrucción densa de escenas en tiempo real con SLAM3R
Implementaciones mínimas y anotadas de ideas clave de la investigación moderna en aprendizaje profundo.
[CVPR 2023] Una alternativa académica a la red de ocupación de Tesla para la conducción autónoma.
ProtTrans proporciona modelos de lenguaje preentrenados de última generación para proteínas. ProtTrans se entrenó en miles de GPU de Summit y cientos de TPU de Google utilizando modelos Transformers.
📰 Artículos y blogs de lectura obligatoria sobre Decodificación Especulativa ⚡️
Impresionantes LLM de voz/audio, aprendizaje de representación y modelos de códec
Implementación oficial de PyTorch de "SiT: Explorando modelos generativos basados en flujo y difusión con Transformers interpolantes escalables"
Marco de secuencia a secuencia con enfoque en Traducción Automática Neuronal basado en PyTorch
MiMo-Audio: Los modelos de lenguaje de audio son aprendices de pocos ejemplos
Impresionantes artículos sobre detección y segmentación de objetos 3D Multi-Cámara en vista de pájaro, como DETR3D, BEVDet, BEVFormer, BEVDepth, UniAD
Se dice que Ilya Sutskever le dio a John Carmack esta lista de lectura de ~30 artículos de investigación sobre aprendizaje profundo.
Análisis del código fuente del modelo de lenguaje grande ligero MiniMind, que incluye procesos completos como tokenizer, RoPE, MoE, KV Cache, preentrenamiento, SFT, LoRA, DPO.
Repositorio público del artículo de NeurIPS 2023 "Unlimiformer: Transformers de Largo Alcance con Entrada de Longitud Ilimitada"
Flash Attention en ~100 líneas de CUDA (solo paso hacia adelante)
🐳 Implementaciones eficientes de Triton para "Native Sparse Attention: Hardware-Aligned and Natively Trainable Sparse Attention"
La implementación oficial para [NeurIPS2025 Oral] Atención con Compuerta (Gated Attention) para Grandes Modelos de Lenguaje: No linealidad, Esparsidad y Libre de Attention-Sink
Aprendizaje de modelos de lenguaje grandes (LLM) (Aprendizaje de modelos de lenguaje grandes)
Un modelo de difusión de lenguaje a nivel de caracteres entrenado en Tiny Shakespeare
Código de inferencia para el artículo "Spirit-LM Interleaved Spoken and Written Language Model".