#bert Dépôts
109 dépôts au total
[ICLR'23 Spotlight🔥] Le premier pré-entraînement réussi de style BERT/MAE sur n'importe quel réseau de convolution ; Impl. Pytorch de "Designing BERT for Convolutional Networks: Sparse and Hierarchical Masked Modeling"
Modèles entraînés et code pour prédire les commentaires toxiques dans les 3 défis Jigsaw Toxic Comment. Créés avec ⚡ PyTorch Lightning et 🤗 Transformers.
Articles pertinents dans le domaine du traitement du langage naturel (avec notes de lecture), reproduction de modèles et traitement de données (le code inclut deux versions : TensorFlow et PyTorch)
Transformers4Rec est une bibliothèque flexible et efficace pour les recommandations séquentielles et basées sur les sessions qui fonctionne avec PyTorch.
Un package Python pour exécuter la modélisation thématique contextualisée. Les CTM combinent des embeddings contextualisés (par exemple, BERT) avec des modèles thématiques pour obtenir des sujets cohérents. Publié à EACL et ACL 2021 (Bianchi et al.).
Entraînement et inférence distribués pour la perception multimodale : représentations vectorielles partagées pour le texte, les images, la vidéo, l’audio, le code et les graphes, de 64 à 1 024 dimensions 🖼️
TTS de meilleure pratique basé sur BERT et VITS avec certaines caractéristiques de Natural Speech de Microsoft ; prend en charge la sortie en streaming ONNX !
Framework de compression de réseau neuronal pour une inférence OpenVINO™ améliorée
💁 Impressionnant trésor de modèles Transformer pour le traitement du langage naturel contenant des articles, des vidéos, des blogs, des dépôts officiels ainsi que des notebooks Colab. 🛫☑️
Tutoriel complet sur les algorithmes de NLP à LLM, adresse de lecture en ligne : https://datawhalechina.github.io/base-llm/
Une liste sélectionnée de ressources en NLP centrée sur les réseaux Transformer, le mécanisme d'attention, GPT, BERT, ChatGPT, LLMs et l'apprentissage par transfert.
Framework de pré-entraînement Tencent en PyTorch et zoo de modèles pré-entraînés
Corpus de pré‑entraînement à grande échelle pour le chinois 100G (corpus de pré‑entraînement chinois)
Construction d'un système de dialogue chinois basé sur la dernière version de rasa(Construction d'un système de dialogue basé sur la dernière version de rasa)
TextGen: Implémentation de modèles de génération de texte, incluent LLaMA, BLOOM, GPT2, BART, T5, SongNet et ainsi de suite. Modèles de génération de texte, implémentent l'entraînement et la prédiction de modèles tels que LLaMA, ChatGLM, BLOOM, GPT2, Seq2Seq, BART, T5, UDA, etc., prêts à l'emploi.
Modèles Transformer de BERT à GPT-4, environnements de Hugging Face à OpenAI. Exemples de fine-tuning, d'entraînement et d'ingénierie des prompts. Une section bonus avec ChatGPT, GPT-3.5-turbo, GPT-4 et DALL-E, y compris le démarrage rapide de GPT-4, la reconnaissance vocale, la synthèse vocale, la génération de texte en image avec DALL-E, Google Cloud AI, HuggingGPT, et plus encore.
Implémentation officielle des articles "GECToR – Grammatical Error Correction: Tag, Not Rewrite" (BEA-20) et "Text Simplification by Tagging" (BEA-21)"
Une bibliothèque PyTorch de modèles Transformer sélectionnés et de leurs composants composables
Dépôt Github avec des tutoriels pour affiner les transformeurs pour différentes tâches NLP
PhoBERT : modèles de langue pré-entraînés pour le vietnamien (EMNLP-2020 Findings)
Classification de texte multi-étiquettes, classification multi-étiquettes, classification de texte, multi-étiquettes, classifieur, classification de texte, BERT, seq2seq, attention, classification multi-étiquettes
PatrickStar permet des modèles pré-entraînés plus grands, plus rapides et plus écologiques pour le NLP et démocratise l'IA pour tous.
Le référentiel principal pour la recherche et le développement de pointe en matière de réponse aux questions multilingues.
LLM-PowerHouse : Libérez le potentiel des LLM grâce à des tutoriels organisés, des meilleures pratiques et du code prêt à l'emploi pour l'entraînement personnalisé et l'inférence.
Revisiter les modèles pré-entraînés pour le traitement du langage naturel chinois (MacBERT)
Implémentation PyTorch de JointBERT : "BERT for Joint Intent Classification and Slot Filling"
Awesome-LLM-Eval: une liste organisée d'outils, de jeux de données/benchmarks, de démos, de classements, d'articles, de documents et de modèles, principalement pour l'évaluation des LLM. Une liste organisée d'outils, de benchmarks/données, de démos, de classements et de grands modèles, principalement axée sur l'évaluation des grands modèles de base, dans le but d'explorer les limites technologiques de l'IA générative.
Le tout premier vaste benchmark de traitement du langage naturel pour la langue indonésienne. Nous fournissons plusieurs tâches en aval, des modèles IndoBERT pré-entraînés et un code de démarrage ! (AACL-IJCNLP 2020)
Vérification de l'ancrage au niveau des segments pour les sorties d'IA basées sur RAG, le code et les outils.
BERTweet: Un modèle de langage pré-entraîné pour les Tweets en anglais (EMNLP-2020)
Une implémentation du modèle BERT et de ses tâches en aval associées basée sur le framework PyTorch. @跟我学机器学习
Transformers pour le traitement du langage naturel, publié par Packt
Un dépôt NLP d'apprentissage profond qui résume le prétraitement du texte, les modèles de sujets et les tâches en aval de modèles de pointe tels que BERT, GPT et LLM à l'aide de TensorFlow.
Un système de classification flexible et adaptatif pour la classification dynamique de texte
Traduction chinoise de Natural Language Processing with Transformers, le tutoriel le plus faisant autorité sur Transformers