#nlp Репозитории
Всего репозиториев: 494
Код оценки для различных неконтролируемых автоматических метрик для генерации естественного языка.
"Jieba" китайская сегментация текста: создано для того, чтобы быть лучшим модулем PHP для китайской сегментации слов и разбиения текста. / "Jieba" (китайск. «заикаться») Сегментация китайского текста: создано, чтобы быть лучшим модулем PHP для сегментации китайских слов.
Решает базовые задачи NLP на русском языке, API для проектов Natasha более низкого уровня
Самый полный путь обучения для инженеров AI-агентов · Освойте ИИ-инжиниринг с нуля · 20 этапов, 542 урока · Полный перевод на китайский + сопутствующий сайт + анимированные обучающие видео · Путеводитель по становлению инженером AI-агентов
Самая точная библиотека для определения естественного языка для Go, подходящая для коротких текстов и текстов на смешанных языках
Обученные модели и код для выявления токсичных комментариев во всех трёх соревнованиях Jigsaw Toxic Comment. Созданы с помощью ⚡ PyTorch Lightning и 🤗 Transformers.
Соответствующие статьи в области обработки естественного языка (с заметками для чтения), воспроизведение моделей и обработка данных (код включает версии TensorFlow и PyTorch)
Transformers4Rec - это гибкая и эффективная библиотека для последовательных и сессионных рекомендаций, работающая с PyTorch.
Пакет Python для выполнения контекстуализированного тематического моделирования. CTM объединяет контекстуализированные вложения (например, BERT) с тематическими моделями для получения согласованных тем. Опубликовано на EACL и ACL 2021 (Bianchi et al.).
ktrain — это библиотека Python, которая делает глубокое обучение и ИИ более доступными и простыми в применении
Список проектов с открытым исходным кодом на базе ИИ, которые можно использовать для легкого получения дохода.
Taranis AI — это передовой инструмент для сбора данных из открытых источников (OSINT), использующий искусственный интеллект для революционизации сбора информации и ситуационного анализа.
Реализация в Keras статьи "One pixel attack for fooling deep neural networks" с использованием дифференциальной эволюции на Cifar10 и ImageNet
Предварительно обученные вложения подслов в 275 языках, на основе Byte-Pair Encoding (BPE)
Видео, заметки и эксперименты для понимания глубокого обучения
Полный и структурированный центр для изучения искусственного интеллекта — охватывает ИИ, машинное обучение, глубокое обучение и науку о данных с книгами, дорожными картами и подобранными ресурсами от начального до продвинутого уровня.
ChatLLaMA 📢 Реализация с открытым исходным кодом для ChatGPT на основе LLaMA, которую можно запускать на одном GPU. Процесс обучения в 15 раз быстрее, чем у ChatGPT
💁 Потрясающее сокровище моделей Transformer для обработки естественного языка содержит статьи, видео, блоги, официальные репозитории и ноутбуки Colab. 🛫☑️
Самая точная библиотека для обнаружения естественного языка для Rust, подходящая для коротких текстов и текстов на смешанных языках
Реализация модели языка Plug and Play. Позволяет управлять темой и атрибутами моделей GPT-2.
Полный учебник по алгоритмам от NLP до LLM, адрес для чтения онлайн: https://datawhalechina.github.io/base-llm/
[Neurips 2023] Генерация уровней Марио с помощью GPT2. Код для статьи «MarioGPT: Открытая генерация Text2Level с помощью больших языковых моделей» https://arxiv.org/abs/2302.05981
Z80-μLM — это 2-битная квантованная языковая модель, достаточно маленькая для работы на 8-битном процессоре Z80. Обучайте разговорные модели на Python, экспортируйте их как двоичные файлы CP/M .COM и общайтесь со своим винтажным компьютером.
Algebrica — это бесплатная и открытая база математических знаний, посвященная ясности, структуре и концептуальной согласованности.
Единая эффективная тонкая настройка извлечения RAG, включая Embedding, ColBERT, ReRanker.
[NeurIPS 2023] MeZO: Fine-Tuning Language Models with Just Forward Passes. https://arxiv.org/abs/2305.17333
Куратированный список ресурсов NLP, сосредоточенный на сетях Transformer, механизме внимания, GPT, BERT, ChatGPT, LLM и трансферном обучении.
LLM Большие модели Заметки 50 статей Этот репозиторий содержит практические проекты в таких областях, как машинное обучение, глубокое обучение, компьютерное зрение, обработка естественного языка, большие модели, веб-скрапинг и т. д.
DataDreamer: Промпт. Генерация синтетических данных. Обучение и выравнивание моделей. 🤖💤
Awesome-llm-role-playing-with-persona: тщательно подобранный список ресурсов для больших языковых моделей для ролевых игр с назначенными персонажами
Библиотека обнаружения естественного языка для Rust. Попробуйте демо онлайн: https://whatlang.org/
Набор данных WIT (Wikipedia-based Image Text) представляет собой большой мультимодальный многоязычный набор данных, включающий более 37 миллионов пар изображений и текстов с более чем 11 миллионами уникальных изображений на более чем 100 языках.
Библиотека plug-and-play для параметрически эффективной настройки (Delta Tuning)
🤗 Список замечательных проектов и приложений с открытым исходным кодом, интегрированных с библиотеками Hugging Face.
Подборка ресурсов для обработки естественного языка (NLP) на японском языке: библиотеки Python, большие языковые модели (LLM), словари, корпусы и наборы данных. Включает навыки Claude Code и Codex для поиска ресурсов.