#bert Repositórios
109 repositórios no total
[Destaque ICLR'23🔥] O primeiro pré-treinamento bem-sucedido no estilo BERT/MAE em qualquer rede convolucional; Implementação em Pytorch de "Projetando BERT para Redes Convolucionais: Modelagem Mascarada Esparsa e Hierárquica"
Modelos treinados e código para prever comentários tóxicos nos 3 desafios Jigsaw Toxic Comment. Criados com ⚡ PyTorch Lightning e 🤗 Transformers.
Artigos relevantes na área de Processamento de Linguagem Natural (com notas de leitura), reprodução de modelos e processamento de dados, etc. (código inclui versões TensorFlow e PyTorch)
código para o artigo da EMNLP 2019 'Sumarização de Texto com Encoders Pré-treinados'
Transformers4Rec é uma biblioteca flexível e eficiente para recomendação sequencial e baseada em sessão que funciona com PyTorch.
Um pacote python para executar a modelagem de tópicos contextualizada. CTMs combinam embeddings contextualizados (por exemplo, BERT) com modelos de tópicos para obter tópicos coerentes. Publicado na EACL e ACL 2021 (Bianchi et al.).
Treinamento e inferência distribuídos para percepção multimodal: embeddings compartilhados para texto, imagens, vídeo, áudio, código e grafos, de 64 a 1.024 dimensões 🖼️
TTS de melhores práticas baseado em BERT e VITS com alguns Recursos de Fala Natural da Microsoft; Suporta streaming ONNX!
💁 Tesouro Incrível de Modelos Transformer para Processamento de Linguagem Natural contém artigos, vídeos, blogs, repositórios oficiais juntamente com Notebooks Colab. 🛫☑️
Tutorial completo de algoritmos de NLP a LLM, endereço para leitura online: https://datawhalechina.github.io/base-llm/
Uma lista selecionada de recursos de PLN focada em redes Transformer, mecanismo de atenção, GPT, BERT, ChatGPT, LLMs e aprendizado por transferência.
Estrutura de pré-treinamento da Tencent em PyTorch e Repositório de Modelos Pré-treinados
Corpus de Pré‑Training de grande escala para Chinês 100G (corpus de pré‑treinamento em chinês)
construção de um sistema de diálogo chinês baseado na versão mais recente do Rasa
TextGen: Implementação de modelos de Geração de Texto, incluindo LLaMA, BLOOM, GPT2, BART, T5, SongNet e assim por diante. Geração de texto, com treinamento e previsão de modelos como LLaMA, ChatGLM, BLOOM, GPT2, Seq2Seq, BART, T5, UDA, etc., prontos para usar.
Modelos Transformer de BERT a GPT-4, ambientes de Hugging Face a OpenAI. Exemplos de fine-tuning, treinamento e engenharia de prompts. Uma seção bônus com ChatGPT, GPT-3.5-turbo, GPT-4 e DALL-E, incluindo inicialização rápida (jump starting) do GPT-4, conversão de fala em texto (speech-to-text), conversão de texto em fala (text-to-speech), geração de texto para imagem com DALL-E, Google Cloud AI, HuggingGPT e muito mais.
Implementação oficial dos artigos "GECToR – Correção Gramatical: Marcar, Não Reescrever" (BEA-20) e "Simplificação de Texto por Marcação" (BEA-21)
🤖 Uma biblioteca PyTorch de modelos Transformer selecionados e seus componentes composicionais
Repositório Github com tutoriais para ajustar (fine-tune) transformers para diferentes tarefas de PNL
PhoBERT: Modelos de linguagem pré-treinados para vietnamita (EMNLP-2020 Findings)
Classificação de texto multirrótulo, classificação multirrótulo, classificação de texto, multi-label, classificador, text classification, BERT, seq2seq, attention, multi-label-classification
PatrickStar permite modelos pré-treinados maiores, mais rápidos e mais ecológicos para NLP e democratiza a IA para todos.
O repositório principal para pesquisa e desenvolvimento de ponta em Respostas a Perguntas Multilíngues.
LLM-PowerHouse: Liberte o potencial dos LLMs através de tutoriais selecionados, melhores práticas e código pronto a usar para treinamento e inferência personalizados.
Revisitando Modelos Pré-treinados para Processamento de Linguagem Natural em Chinês (MacBERT)
Implementação Pytorch do JointBERT: "BERT para Classificação Conjunta de Intenção e Preenchimento de Slots"
Awesome-LLM-Eval: uma lista selecionada de ferramentas, conjuntos de dados/benchmarks, demonstrações, placares, artigos, documentos e modelos, principalmente para Avaliação em LLMs. Uma lista selecionada de ferramentas, benchmarks/dados, demonstrações, placares e grandes modelos, voltada principalmente para a avaliação de LLMs fundamentais, com o objetivo de explorar os limites técnicos da IA generativa.
O primeiro e vasto benchmark de processamento de linguagem natural para a língua indonésia. Fornecemos várias tarefas downstream, modelos IndoBERT pré-treinados e um código inicial! (AACL-IJCNLP 2020)
Verificação de fundamentação em nível de segmento para saídas de IA baseadas em RAG, código e ferramentas.
BERTweet: Um modelo de linguagem pré-treinado para Tweets em inglês (EMNLP-2020)
Uma implementação do modelo BERT e suas tarefas downstream relacionadas baseadas no framework PyTorch. @跟我学机器学习
Transformers para Processamento de Linguagem Natural, publicado pela Packt
Este é um repositório de PNL (Processamento de Linguagem Natural) de Deep Learning que organiza as tarefas downstream dos modelos mais recentes, como Topic Models, BERT, GPT e LLM, abrangendo desde o pré-processamento de texto, utilizando o TensorFlow.
Um sistema de classificação flexível e adaptável para classificação dinâmica de texto
A edição em chinês de Processamento de Linguagem Natural com Transformers, o tutorial mais autoritário sobre Transformers