#bert Репозитории
Всего репозиториев: 109
[ICLR'23 Spotlight🔥] Первое успешное предобучение в стиле BERT/MAE на любой сверточной сети; реализация на Pytorch "Designing BERT for Convolutional Networks: Sparse and Hierarchical Masked Modeling"
Обученные модели и код для выявления токсичных комментариев во всех трёх соревнованиях Jigsaw Toxic Comment. Созданы с помощью ⚡ PyTorch Lightning и 🤗 Transformers.
Соответствующие статьи в области обработки естественного языка (с заметками для чтения), воспроизведение моделей и обработка данных (код включает версии TensorFlow и PyTorch)
Transformers4Rec - это гибкая и эффективная библиотека для последовательных и сессионных рекомендаций, работающая с PyTorch.
Пакет Python для выполнения контекстуализированного тематического моделирования. CTM объединяет контекстуализированные вложения (например, BERT) с тематическими моделями для получения согласованных тем. Опубликовано на EACL и ACL 2021 (Bianchi et al.).
Распределённое обучение и инференс для мультимодального восприятия: общие эмбеддинги для текста, изображений, видео, аудио, кода и графов размерностью от 64 до 1024 🖼️
Лучшая практика TTS на основе BERT и VITS с некоторыми функциями Natural Speech от Microsoft; Поддержка потокового вывода ONNX!
💁 Потрясающее сокровище моделей Transformer для обработки естественного языка содержит статьи, видео, блоги, официальные репозитории и ноутбуки Colab. 🛫☑️
Полный учебник по алгоритмам от NLP до LLM, адрес для чтения онлайн: https://datawhalechina.github.io/base-llm/
Куратированный список ресурсов NLP, сосредоточенный на сетях Transformer, механизме внимания, GPT, BERT, ChatGPT, LLM и трансферном обучении.
Каркас предварительного обучения Tencent на PyTorch и зоопарк предварительно обученных моделей
Крупномасштабный корпус для предобучения китайского языка 100G (китайский корпус предобучения)
Создание китайской системы диалога на основе новейшей версии rasa(Создание системы диалога на основе новейшей версии rasa)
TextGen: Реализация моделей генерации текста, включая LLaMA, BLOOM, GPT2, BART, T5, SongNet и так далее. Модели генерации текста, реализовали обучение и прогнозирование моделей, включая LLaMA, ChatGLM, BLOOM, GPT2, Seq2Seq, BART, T5, UDA и т.д., готовы к использованию.
Трансформерные модели от BERT до GPT-4, среды от Hugging Face до OpenAI. Примеры дообучения, обучения и инжиниринга промптов. Бонусный раздел с ChatGPT, GPT-3.5-turbo, GPT-4 и DALL-E, включая ускоренный запуск GPT-4, преобразование речи в текст, преобразование текста в речь, генерацию изображений из текста с помощью DALL-E, Google Cloud AI, HuggingGPT и многое другое.
Официальная реализация статей «GECToR – Grammatical Error Correction: Tag, Not Rewrite» (BEA-20) и «Text Simplification by Tagging» (BEA-21)»
Библиотека PyTorch из отобранных моделей Transformer и их составных компонентов
Репозиторий Github с учебными пособиями по тонкой настройке трансформеров для различных задач NLP
PhoBERT: предварительно обученные языковые модели для вьетнамского языка (EMNLP-2020 Findings)
Многоклассовая текстовая классификация, многоклассовая классификация, текстовая классификация, multi-label, classifier, text classification, BERT, seq2seq, attention, multi-label-classification
PatrickStar позволяет создавать большие, быстрые и более экологичные предобученные модели для NLP и демократизирует ИИ для всех.
Основной репозиторий для передовых исследований и разработок в области многоязычных систем ответов на вопросы.
LLM-PowerHouse: Раскройте потенциал LLM с помощью тщательно отобранных руководств, лучших практик и готового к использованию кода для пользовательского обучения и логического вывода.
Пересмотр предварительно обученных моделей для китайской обработки естественного языка (MacBERT)
Реализация JointBERT на PyTorch: "BERT for Joint Intent Classification and Slot Filling"
Awesome-LLM-Eval: тщательно подобранный список инструментов, наборов данных/бенчмарков, демонстраций, таблиц лидеров, статей, документов и моделей, в основном для оценки LLM. Тщательно подобранный список инструментов, бенчмарков/данных, демонстраций, рейтингов и больших моделей, в основном ориентированный на оценку базовых больших моделей, с целью исследования технологических границ генеративного ИИ.
Первый обширный эталон обработки естественного языка для индонезийского языка. Мы предоставляем несколько последующих задач, предварительно обученные модели IndoBERT и стартовый код! (AACL-IJCNLP 2020)
Проверка обоснованности на уровне отрезков для выходных данных ИИ, основанных на RAG, коде и инструментах.
BERTweet: Предварительно обученная языковая модель для английских твитов (EMNLP-2020)
Реализация модели BERT и связанных с ней последующих задач на основе фреймворка PyTorch. @跟我学机器学习
Transformers для обработки естественного языка, опубликованные Packt
Репозиторий Deep Learning NLP, обобщающий предварительную обработку текста, тематические модели и последующие задачи передовых моделей, таких как BERT, GPT и LLM, с использованием TensorFlow.
Гибкая, адаптивная система классификации для динамической классификации текста
Китайский перевод Natural Language Processing with Transformers - самый авторитетный учебник по Transformers