#tokenizer Репозитории
Откройте для себя 29 активных репозиториев с открытым исходным кодом на GitHub, отмеченных тегом #tokenizer, с общим числом 145,054 звёзд (в среднем 5,001 на проект). Лидером этой темы является rasbt/LLMs-from-scratch, набравший 108,745 звёзд.
Всего репозиториев: 29
Небольшая библиотека для преобразования токенизированного исходного кода PHP в XML (и потенциально в другие форматы)
Решает базовые задачи NLP на русском языке, API для проектов Natasha более низкого уровня
Инструментарий для построения парсера C# с качественной отчетностью об ошибках
Микробиблиотека потоковых компонентов для создания пользовательских конвейеров обработки JSON и JSONC с минимальным потреблением памяти — анализируйте, фильтруйте и преобразуйте JSON, размер которого значительно превышает объем доступной памяти, с помощью API токенов в стиле SAX в Node.js или Web Streams.
Это библиотека Python для обработки естественного языка на корейском языке. Она предоставляет функции извлечения слов / токенизатора / определения частей речи / предобработки.
Оптимизированный генератор токенизатора/лексер! 🐄 Использует /y для производительности. Муу.
Расширение полнотекстового поиска SQLite fts5 с поддержкой китайского и пиньинь | Токенизатор SQLite3 fts5, поддерживающий китайский и пиньинь
Самый быстрый JavaScript BPE Tokenizer Encoder Decoder для моделей GPT OpenAI (gpt-5, gpt-o*, gpt-4o и т. д.). Порт tiktoken от OpenAI с дополнительными функциями.
Интегрированный инструмент корпуса с многоязычной поддержкой для изучения языка, литературы и перевода
Data Labeling — это специализированный инструмент для обработки и маркировки текстовых данных. Упрощая быстрые процессы маркировки текста и динамическую обратную связь по алгоритмам, он помогает пользователям быстро маркировать ключевые слова и может постоянно снижать затраты и время ручной маркировки с помощью алгоритмов. Процесс маркировки данных сначала закладывает основу с помощью ручной маркировки, затем автоматическая маркировка подпитывает ручную маркировку, и, наконец, ручная маркировка используется для коррекции, тем самым значительно повышая точность и эффективность маркировки. Data Labeling требует опоры на цифровую базу с открытым исходным кодом для управления должностями персонала.
Ekphrasis — это инструмент обработки текста, ориентированный на тексты из социальных сетей, таких как Twitter или Facebook. Ekphrasis выполняет токенизацию, нормализацию слов, сегментацию слов (для разделения хэштегов) и исправление орфографии, используя статистику слов из 2 больших корпусов (английская Википедия, Twitter — 330 миллионов английских твитов).
Open Korean Text Processor - Открытая программа для обработки корейского текста с открытым исходным кодом
Достигните пошагового вывода llama3, усвойте основные концепции, освойте вывод процесса, реализуйте код.
Нежадный токенизатор подслов и тренер словаря для Python, Go, C++ и Javascript
[NeurIPS 2025 Spotlight] Единый токенизатор для визуальной генерации и понимания
Cython MeCab‑обёртка для быстрой, «питоновской» токенизации и морфологического анализа японского языка.
ЭФФЕКТИВНЫЙ И ОПТИМИЗИРОВАННЫЙ ДВИГАТЕЛЬ ТОКЕНИЗАТОРА ДЛЯ СЕРВИСА ВЫВОДА LLM
Часто задаваемые вопросы
Какой репозиторий по теме #tokenizer наиболее популярен на GitHub?
Самый высоко оценённый проект с открытым исходным кодом по теме #tokenizer на GitHub — rasbt/LLMs-from-scratch, набравший 108,745 звёзд. Реализуйте LLM, подобный ChatGPT, в PyTorch с нуля, шаг за шагом
Какие языки программирования чаще всего используются в репозиториях по теме #tokenizer?
Среди наиболее высоко оценённых проектов по теме #tokenizer на GitHub чаще всего используются языки программирования Python, TypeScript, JavaScript, C++.
Как рассчитывается рейтинг репозиториев по теме #tokenizer?
Мы отслеживаем 29 активных репозиториев с открытым исходным кодом, отмеченных тегом #tokenizer (500 и более звёзд), с общим числом 145,054 звёзд и в среднем 5,001 звёзд на репозиторий. Рейтинги обновляются ежедневно на основе данных GitHub API.