#transformer-architecture Repositórios
147 repositórios no total
PixArt-Σ: Treinamento do Fraco ao Forte de Transformador de Difusão para Geração de Imagens 4K a Partir de Texto
O repositório oficial do Qwen-Audio (通义千问-Audio), um modelo de linguagem de áudio grande pré-treinado e de chat proposto pela Alibaba Cloud.
Biblioteca autossuficiente de Machine Learning e Processamento de Linguagem Natural em Go
Central de informações para o nosso projeto de treinamento dos maiores LLMs históricos possíveis.
Este repositório contém perguntas de entrevista sobre LLM (Modelo de Linguagem Grande) feitas em grandes empresas como Google, Nvidia, Meta, Microsoft e companhias da Fortune 500.
MobileLLM Otimizando Modelos de Linguagem com Parâmetros Sub-bilionários para Casos de Uso em Dispositivos. Em ICML 2024.
Sistema TTS de streaming de longa duração para geração de diálogo multi-falante
Pesquisa contínua treinando modelos de linguagem transformer em escala, incluindo: BERT e GPT-2
Código-fonte e conjunto de dados para o artigo da ACL 2019 "ERNIE: Enhanced Language Representation with Informative Entities"
(CVPR 2025) De Modelos de Difusão de Vídeo Bidirecionais Lentos a Autorregressivos Rápidos
Implementações mínimas e anotadas das ideias chave da pesquisa moderna em aprendizado profundo.
[CVPR 2023] Uma alternativa acadêmica à rede de ocupação da Tesla para direção autônoma.
ProtTrans está fornecendo modelos de linguagem pré-treinados de última geração para proteínas. ProtTrans foi treinado em milhares de GPUs do Summit e centenas de TPUs do Google usando Modelos Transformers.
📰 Artigos e blogs imperdíveis sobre Decodificação Especulativa ⚡️
LLMs de fala/áudio incríveis, aprendizado de representação e modelos de codec
Implementação Oficial em PyTorch de "SiT: Explorando Modelos Geradores Baseados em Fluxo e Difusão com Transformers Interpolantes Escaláveis"
Estrutura de sequência para sequência com foco em Tradução Automática Neural baseada em PyTorch
MiMo-Audio: Modelos de Linguagem de Áudio são Aprendizes de Poucos Exemplos
Artigos incríveis sobre Detecção e Segmentação de Objetos 3D Multi-Câmera em Visão Aérea (Bird's-Eye-View), como DETR3D, BEVDet, BEVFormer, BEVDepth, UniAD
Diz-se que Ilya Sutskever deu a John Carmack esta lista de leitura com cerca de 30 artigos de pesquisa sobre aprendizado profundo.
Análise do código-fonte do modelo de linguagem grande leve MiniMind, incluindo processos completos como tokenizer, RoPE, MoE, KV Cache, pré-treinamento, SFT, LoRA, DPO.
Repositório público para o artigo NeurIPS 2023 "Unlimiformer: Long-Range Transformers with Unlimited Length Input"
Flash Attention em ~100 linhas de CUDA (apenas passagem para frente)
🐳 Implementações Triton eficientes para "Atenção Esparsa Nativa: Atenção Esparsa Alinhada ao Hardware e Nativa para Treinamento"
A implementação oficial para [NeurIPS2025 Oral] Gated Attention para Grandes Modelos de Linguagem: Não-linearidade, Esparsidade e Livre de Attention-Sink
Aprendizagem de Modelos de Linguagem Grandes (LLM) (Aprendizagem de Grandes Modelos de Linguagem)
Um modelo de difusão de linguagem em nível de caractere treinado em Tiny Shakespeare
Código de inferência para o artigo "Spirit-LM Interleaved Spoken and Written Language Model".