#tokenization Репозитории
Откройте для себя 33 активных репозиториев с открытым исходным кодом на GitHub, отмеченных тегом #tokenization, с общим числом 183,037 звёзд (в среднем 5,546 на проект). Лидером этой темы является shiyu-coder/Kronos, набравший 48,042 звёзд.
Всего репозиториев: 33
🎒 Токен-ориентированная объектная нотация (TOON) – компактная, читаемая человеком сериализация данных JSON для подсказок LLM. TypeScript SDK, CLI, бенчмарки.
Базовая библиотека для лексера, который может использоваться в парсерах сверху вниз с рекурсивным спуском.
Минимальный, чистый код для алгоритма Byte Pair Encoding (BPE), часто используемого при токенизации LLM.
Основной репозиторий протокола для Ridera — Mobility RWA на Base. Включает документацию, архитектуру, смарт-контракты и дизайн протокола.
LunaSec – сканер безопасности зависимостей, который автоматически уведомляет вас об уязвимостях, таких как Log4Shell или node-ipc, в ваших Pull Requests и сборках. Защитите себя за 30 секунд с помощью приложения LunaTrace для GitHub: https://github.com/marketplace/lunatrace-by-lunasec/
Пакет Swift для реализации API, похожего на transformers, на Swift
Официальная библиотека вывода для предварительной обработки моделей Mistral
Trankit — это легкий Python-инструментарий на основе Transformer для многоязычной обработки естественного языка
Ekphrasis — это инструмент обработки текста, ориентированный на тексты из социальных сетей, таких как Twitter или Facebook. Ekphrasis выполняет токенизацию, нормализацию слов, сегментацию слов (для разделения хэштегов) и исправление орфографии, используя статистику слов из 2 больших корпусов (английская Википедия, Twitter — 330 миллионов английских твитов).
Нежадный токенизатор подслов и тренер словаря для Python, Go, C++ и Javascript
:snake: mecab-python. Оригинальную версию можно найти здесь: http://taku910.github.io/mecab/
Конвейер обработки естественного языка - Разбиение предложений, Токенизация, Лемматизация, Разметка частей речи и Парсинг зависимостей
Реверс-инжиниринг контролируемого семантического токенизатора речи (S3Tokenizer), предложенного в CosyVoice
PHP Text Analysis — это библиотека для выполнения задач по извлечению информации (IR) и обработке естественного языка (NLP) с использованием языка PHP
Демон уровня 1 для спецификации Taproot Assets Protocol, написанный на Go (golang)
Статическая веб-страница, которая позволяет вам использовать ваш ключ OpenAI API для получения того же опыта, что и с ChatGPT!
Часто задаваемые вопросы
Какой репозиторий по теме #tokenization наиболее популярен на GitHub?
Самый высоко оценённый проект с открытым исходным кодом по теме #tokenization на GitHub — shiyu-coder/Kronos, набравший 48,042 звёзд. Kronos: Базовая модель для языка финансовых рынков
Какие языки программирования чаще всего используются в репозиториях по теме #tokenization?
Среди наиболее высоко оценённых проектов по теме #tokenization на GitHub чаще всего используются языки программирования Python, TypeScript, PHP, Rust.
Как рассчитывается рейтинг репозиториев по теме #tokenization?
Мы отслеживаем 33 активных репозиториев с открытым исходным кодом, отмеченных тегом #tokenization (500 и более звёзд), с общим числом 183,037 звёзд и в среднем 5,546 звёзд на репозиторий. Рейтинги обновляются ежедневно на основе данных GitHub API.