#nlp Репозитории
Всего репозиториев: 494
Курируемые учебные пособия и ресурсы по большим языковым моделям, AI-рисования и многому другому.
LightLLM — это основанный на Python фреймворк для инференса и обслуживания LLM (больших языковых моделей), известный своим легким дизайном, простой масштабируемостью и высокой скоростью работы.
Этот проект воспроизводит книгу Dive Into Deep Learning (https://d2l.ai/), адаптируя код из MXNet в PyTorch.
MNBVC (Massive Never-ending BT Vast Chinese corpus) сверхмасштабный китайский корпус. Сопоставим с 40T данных, используемых для обучения chatGPT. Набор данных MNBVC включает не только мейнстримную культуру, но и данные из различных нишевых культур и даже марсианского языка. Набор данных MNBVC включает чистые текстовые данные на китайском языке во всех формах, такие как новости, эссе, романы, книги, журналы, статьи, сценарии, посты, вики, древняя поэзия, тексты песен, описания товаров, шутки, неловкие истории, журналы чатов и многое другое.
AdalFlow: Библиотека для создания и автоматической оптимизации LLM-приложений.
"Build a Large Language Model (From Scratch)" — это электронная книга, которая углубляется в принципы и реализацию больших языковых моделей, подходящая для учащихся, желающих глубоко понять архитектуру, процесс обучения и разработку приложений таких больших моделей, как GPT. Чтобы больше китайских читателей могли получить доступ к этому чрезвычайно ценному учебному пособию, я решил перевести его на китайский язык и поделиться им как открытым исходным кодом через GitHub.
Сверхбыстрое принятие решений с помощью ИИ и интеллектуальная обработка мультимодальных данных.
Собранные членами Datawhale опыты собеседований, содержание включает машинное обучение, CV, NLP, рекомендации, разработку и т.д., добро пожаловать всем star
Китайский пакет для предварительной обработки и разбора текста в области обработки естественного языка (NLP), точный, эффективный и простой в использовании Китайский пакет для предварительной обработки и разбора текста в области обработки естественного языка (NLP) www.jionlp.com
Китайские NLP-решения (большие модели, данные, модели, обучение, инференс)
Подборка учебных пособий и ресурсов по большим языковым моделям, Text2SQL, Text2DSL, Text2API, Text2Vis и другим.
[EMNLP 2021] SimCSE: Простое контрастное обучение вложений предложений https://arxiv.org/abs/2104.08821
Быстрое введение в теорию и практическое применение ИИ: основы, Transformer, NLP, ML, DL, соревнования. Содержит обширные комментарии и наборы данных, чтобы каждый мог понять и воспроизвести.
Вводные курсы по глубокому обучению, продвинутые курсы, специальные курсы, академические кейсы, промышленные практические кейсы, энциклопедия знаний по глубокому обучению и банк вопросов для собеседований Курсы, кейсы и знания по Deep Learning и AI
Сервер логического вывода с открытым исходным кодом и производственный кластер для всех моделей, необходимых вашему агенту.
🛠 Универсальный веб-ориентированный IDE, специализированный на машинном обучении и науке о данных.
Открытый ИИ-гуманизатор текста: преобразует текст, созданный ИИ, в естественную прозу, похожую на написанную человеком. Переработка с помощью LLM и перевод на нескольких движках с пошаговой трассировкой. Python CLI, n8n и Docker.
TextAttack 🐙 — это фреймворк на Python для адверсариальных атак, аугментации данных и обучения моделей в NLP https://textattack.readthedocs.io/en/master/
[TMLR] Курируемый список исследований по моделированию языка для кода (и других мероприятий по разработке программного обеспечения), а также связанные с ними наборы данных.
Навык агента для редактирования японского текста, сгенерированного ИИ, до естественного японского
100 примеров глубокого обучения, глубокое обучение DL, классификация изображений, распознавание объектов, обнаружение объектов, обработка естественного языка NLP, классификация текста, TensorFlow, PyTorch
:book: Библиотека Golang для обработки текста, включающая токенизацию, разметку частей речи и извлечение именованных сущностей.
Нативные для Rust готовые к использованию конвейеры NLP и модели на основе трансформеров (BERT, DistilBERT, GPT2, ...)
Базовые модели Chinese-LLaMA 1&2, Chinese-Falcon; китайская диалоговая модель ChatFlow; китайская модель OpenLLaMA; наборы данных для предварительного обучения/тонкой настройки инструкций NLP
мы хотим создать репозиторий для демонстрации использования трансформеров на китайском языке
Научные статьи по глубокому обучению и глубокому обучению с подкреплением, а также некоторые коды
Охватывает данные для предобучения, токенизаторы, Transformer, MoE, распределённое обучение, законы масштабирования, инференс и выравнивание. 6 последовательных заданий по программированию для комплексного изучения LLM.
🔮 Освежающий функциональный подход к глубокому обучению, совместимый с вашими любимыми библиотеками
aeneas — это библиотека Python/C и набор инструментов для автомагической синхронизации аудио и текста (также известна как принудительное выравнивание)
Эффективное обучение с малым числом примеров (few-shot learning) с помощью Sentence Transformers
Библиотека для отладки/инспектирования классификаторов машинного обучения и объяснения их предсказаний
Эффективная и быстрая многоязычная обработка естественного языка и сегментация текста на Go; поддерживаются английский, китайский, японский и другие языки.
Единая библиотека для параметроэффективного и модульного трансферного обучения
Инструменты для текстовой аналитики и предобработки (очистка текста, обнаружение новых слов, анализ настроений, распознавание и связывание сущностей, извлечение ключевых слов, извлечение знаний, синтаксический анализ и т.д.), методы без надзора или со слабым надзором