#bert Repository
109 repository in totale
[ICLR'23 Spotlight๐ฅ] Il primo pre-training di successo in stile BERT/MAE su qualsiasi rete convoluzionale; Impl. Pytorch di "Designing BERT for Convolutional Networks: Sparse and Hierarchical Masked Modeling"
Modelli addestrati e codice per prevedere i commenti tossici in tutte e 3 le sfide Jigsaw Toxic Comment. Realizzati con โก PyTorch Lightning e ๐ค Transformers.
Articoli correlati nell'ambito dell'elaborazione del linguaggio naturale (con note di lettura), riproduzione di modelli ed elaborazione dati (il codice include due versioni: TensorFlow e PyTorch)
Transformers4Rec รจ una libreria flessibile ed efficiente per raccomandazioni sequenziali e basate su sessioni che funziona con PyTorch.
Un pacchetto Python per eseguire la modellazione di argomenti contestualizzati. I CTM combinano embeddings contestualizzati (ad es. BERT) con modelli di argomenti per ottenere argomenti coerenti. Pubblicato a EACL e ACL 2021 (Bianchi et al.).
Addestramento e inferenza distribuiti per la percezione multimodale: embedding condivisi per testo, immagini, video, audio, codice e grafi, da 64 a 1024 dimensioni ๐ผ๏ธ
Best practice TTS basato su BERT e VITS con alcune caratteristiche di Natural Speech di Microsoft; supporta l'output in streaming ONNX!
Framework di compressione della rete neurale per un'inferenza OpenVINOโข avanzata
๐ Fantastico tesoro di modelli Transformer per l'elaborazione del linguaggio naturale contiene articoli, video, blog, repository ufficiali insieme a notebook Colab. ๐ซโ๏ธ
Tutorial completo sugli algoritmi da NLP a LLM, indirizzo per lettura online: https://datawhalechina.github.io/base-llm/
Una lista curata di risorse NLP focalizzata su reti Transformer, meccanismo di attenzione, GPT, BERT, ChatGPT, LLMs e transfer learning.
Framework di pre-addestramento di Tencent in PyTorch e galleria di modelli pre-addestrati
Corpus di Pre-Training di grande scala per il cinese 100G (corpus di preโtraining in cinese)
Costruzione di un sistema di dialogo cinese basato sull'ultima versione di rasa(Costruzione di un sistema di dialogo basato sull'ultima versione di rasa)
TextGen: Implementazione di modelli di generazione di testo, includono LLaMA, BLOOM, GPT2, BART, T5, SongNet e cosรฌ via. Modelli di generazione di testo, implementano l'addestramento e la previsione di modelli come LLaMA, ChatGLM, BLOOM, GPT2, Seq2Seq, BART, T5, UDA, ecc., pronti all'uso.
Modelli Transformer da BERT a GPT-4, ambienti da Hugging Face a OpenAI. Esempi di fine-tuning, training e prompt engineering. Una sezione bonus con ChatGPT, GPT-3.5-turbo, GPT-4 e DALL-E, tra cui l'avvio rapido di GPT-4, speech-to-text, text-to-speech, generazione da testo a immagine con DALL-E, Google Cloud AI, HuggingGPT e altro ancora.
Implementazione ufficiale degli articoli "GECToR โ Grammatical Error Correction: Tag, Not Rewrite" (BEA-20) e "Text Simplification by Tagging" (BEA-21)
Una libreria PyTorch di modelli Transformer curati e dei loro componenti componibili
Repo Github con tutorial per mettere a punto transformer per diversi task NLP
PhoBERT: modelli linguistici pre-addestrati per il vietnamita (EMNLP-2020 Findings)
Classificazione di testo multi-etichetta, classificazione multi-etichetta, classificazione di testo, multi-etichetta, classificatore, classificazione di testo, BERT, seq2seq, attention, classificazione multi-etichetta
PatrickStar consente modelli pre-addestrati piรน grandi, veloci ed ecologici per NLP e democratizza l'IA per tutti.
Il repository principale per la ricerca e lo sviluppo all'avanguardia nel rispondere a domande multilingue.
LLM-PowerHouse: Libera il potenziale degli LLM attraverso tutorial curati, best practice e codice pronto all'uso per l'addestramento personalizzato e l'inferenza.
Riesaminare modelli pre-addestrati per l'elaborazione del linguaggio naturale cinese (MacBERT)
Implementazione PyTorch di JointBERT: "BERT for Joint Intent Classification and Slot Filling"
Awesome-LLM-Eval: un elenco curato di strumenti, set di dati/benchmark, demo, classifiche, articoli, documenti e modelli, principalmente per la valutazione dei LLM. Un elenco curato di strumenti, benchmark/dati, demo, classifiche e modelli di grandi dimensioni, principalmente focalizzato sulla valutazione dei modelli di base di grandi dimensioni, con l'obiettivo di esplorare i confini tecnologici dell'IA generativa.
Il primo ed esteso benchmark di elaborazione del linguaggio naturale per la lingua indonesiana. Forniamo molteplici attivitร downstream, modelli IndoBERT pre-addestrati e un codice di avvio! (AACL-IJCNLP 2020)
Verifica dell'ancoraggio a livello di span per output AI basati su RAG, codice e strumenti.
BERTweet: Un modello linguistico pre-addestrato per Tweet in inglese (EMNLP-2020)
Un'implementazione del modello BERT e delle relative attivitร a valle basata sul framework PyTorch. @่ทๆๅญฆๆบๅจๅญฆไน
Transformers per l'Elaborazione del Linguaggio Naturale, pubblicato da Packt
Un repository di Deep Learning NLP che riassume l'elaborazione del testo, Topic Models e attivitร downstream di modelli all'avanguardia come BERT, GPT e LLM utilizzando TensorFlow.
Un sistema di classificazione flessibile e adattivo per la classificazione dinamica del testo
Traduzione cinese di Natural Language Processing with Transformers, il tutorial piรน autorevole su Transformers