Git Stars Git Stars

#tokenizer Репозитории

Откройте для себя 29 активных репозиториев с открытым исходным кодом на GitHub, отмеченных тегом #tokenizer, с общим числом 145,054 звёзд (в среднем 5,001 на проект). Лидером этой темы является rasbt/LLMs-from-scratch, набравший 108,745 звёзд.

29
Всего репозиториев
145,054
Всего звезд
5,001
Среднее количество звезд на репозиторий

Всего репозиториев: 29

1
rasbt/LLMs-from-scratch

Реализуйте LLM, подобный ChatGPT, в PyTorch с нуля, шаг за шагом

rasbt
⭐ 108,745 Jupyter Notebook 👤 rasbt User 🕐 Обновлено 2026-11-20 📅 Создано 2023-07-23
2
theseer/tokenizer

Небольшая библиотека для преобразования токенизированного исходного кода PHP в XML (и потенциально в другие форматы)

theseer
⭐ 5,190 PHP 👤 theseer User 🕐 Обновлено 2026-02-03 📅 Создано 2017-04-05
3
marcelroed/gigatoken

Токенизация языковых моделей со скоростью ГБ/с

marcelroed
⭐ 4,157 Rust 👤 marcelroed User 🕐 Обновлено 2026-11-02 📅 Создано 2025-11-10
4
andialbrecht/sqlparse

Модуль парсера SQL без проверки валидности для Python

andialbrecht
⭐ 4,023 Python 👤 andialbrecht User 🕐 Обновлено 2026-11-01 📅 Создано 2012-04-18
5
Chevrotain/chevrotain

Инструментарий для создания парсеров для JavaScript

Chevrotain
⭐ 2,820 TypeScript 👤 Chevrotain Organization 🕐 Обновлено 2026-11-21 📅 Создано 2015-04-15
6
dqbd/tiktokenizer

Онлайн-песочница для токенизаторов OpenAPI

dqbd
⭐ 1,605 TypeScript 👤 dqbd User 🕐 Обновлено 2025-04-24 📅 Создано 2023-03-02
7
roshan-research/hazm

Набор инструментов для обработки естественного языка на персидском языке

roshan-research
⭐ 1,435 Python 👤 roshan-research Organization 🕐 Обновлено 2026-04-01 📅 Создано 2013-10-29
8
natasha/natasha

Решает базовые задачи NLP на русском языке, API для проектов Natasha более низкого уровня

natasha
⭐ 1,364 Python 👤 natasha Organization 🕐 Обновлено 2026-10-14 📅 Создано 2016-08-03
9
datalust/superpower

Инструментарий для построения парсера C# с качественной отчетностью об ошибках

datalust
⭐ 1,345 C# 👤 datalust Organization 🕐 Обновлено 2026-05-20 📅 Создано 2016-09-01
10
uhop/stream-json

Микробиблиотека потоковых компонентов для создания пользовательских конвейеров обработки JSON и JSONC с минимальным потреблением памяти — анализируйте, фильтруйте и преобразуйте JSON, размер которого значительно превышает объем доступной памяти, с помощью API токенов в стиле SAX в Node.js или Web Streams.

uhop
⭐ 1,209 JavaScript 👤 uhop User 🕐 Обновлено 2026-11-20 📅 Создано 2013-08-11
11
lovit/soynlp

Это библиотека Python для обработки естественного языка на корейском языке. Она предоставляет функции извлечения слов / токенизатора / определения частей речи / предобработки.

lovit
⭐ 996 Python 👤 lovit User 🕐 Обновлено 2026-10-04 📅 Создано 2017-05-13
12
ikawaha/kagome

Автономный японский морфологический анализатор, написанный на чистом Go

ikawaha
⭐ 988 Go 👤 ikawaha User 🕐 Обновлено 2026-11-20 📅 Создано 2014-06-26
13
no-context/moo

Оптимизированный генератор токенизатора/лексер! 🐄 Использует /y для производительности. Муу.

no-context
⭐ 884 JavaScript 👤 no-context Organization 🕐 Обновлено 2026-02-27 📅 Создано 2017-03-10
14
wangfenjin/simple

Расширение полнотекстового поиска SQLite fts5 с поддержкой китайского и пиньинь | Токенизатор SQLite3 fts5, поддерживающий китайский и пиньинь

wangfenjin
⭐ 877 C++ 👤 wangfenjin User 🕐 Обновлено 2026-05-17 📅 Создано 2020-03-03
15
niieani/gpt-tokenizer

Самый быстрый JavaScript BPE Tokenizer Encoder Decoder для моделей GPT OpenAI (gpt-5, gpt-o*, gpt-4o и т. д.). Порт tiktoken от OpenAI с дополнительными функциями.

niieani
⭐ 862 TypeScript 👤 niieani User 🕐 Обновлено 2026-11-10 📅 Создано 2023-03-22
16
BLKSerene/Wordless

Интегрированный инструмент корпуса с многоязычной поддержкой для изучения языка, литературы и перевода

BLKSerene
⭐ 762 Python 👤 BLKSerene User 🕐 Обновлено 2025-10-30 📅 Создано 2018-08-23
17
lindera/lindera

Библиотека для морфологического анализа на нескольких языках.

lindera
⭐ 708 Rust 👤 lindera Organization 🕐 Обновлено 2026-11-21 📅 Создано 2020-01-22
18
risesoft-y9/Data-Labeling

Data Labeling — это специализированный инструмент для обработки и маркировки текстовых данных. Упрощая быстрые процессы маркировки текста и динамическую обратную связь по алгоритмам, он помогает пользователям быстро маркировать ключевые слова и может постоянно снижать затраты и время ручной маркировки с помощью алгоритмов. Процесс маркировки данных сначала закладывает основу с помощью ручной маркировки, затем автоматическая маркировка подпитывает ручную маркировку, и, наконец, ручная маркировка используется для коррекции, тем самым значительно повышая точность и эффективность маркировки. Data Labeling требует опоры на цифровую базу с открытым исходным кодом для управления должностями персонала.

risesoft-y9
⭐ 695 Java 👤 risesoft-y9 Organization 🕐 Обновлено 2025-06-23 📅 Создано 2024-08-26
19
cbaziotis/ekphrasis

Ekphrasis — это инструмент обработки текста, ориентированный на тексты из социальных сетей, таких как Twitter или Facebook. Ekphrasis выполняет токенизацию, нормализацию слов, сегментацию слов (для разделения хэштегов) и исправление орфографии, используя статистику слов из 2 больших корпусов (английская Википедия, Twitter — 330 миллионов английских твитов).

cbaziotis
⭐ 676 Python 👤 cbaziotis User 🕐 Обновлено 2025-06-02 📅 Создано 2017-02-07
20
open-korean-text/open-korean-text

Open Korean Text Processor - Открытая программа для обработки корейского текста с открытым исходным кодом

open-korean-text
⭐ 651 Scala 👤 open-korean-text Organization 🕐 Обновлено 2024-03-12 📅 Создано 2017-01-24
21
jflex-de/jflex

Быстрый генератор сканеров для Java™ с полной поддержкой Unicode

jflex-de
⭐ 637 Java 👤 jflex-de Organization 🕐 Обновлено 2026-11-21 📅 Создано 2015-02-15
22
therealoliver/Deepdive-llama3-from-scratch

Достигните пошагового вывода llama3, усвойте основные концепции, освойте вывод процесса, реализуйте код.

therealoliver
⭐ 629 Jupyter Notebook 👤 therealoliver User 🕐 Обновлено 2025-02-24 📅 Создано 2025-02-19
23
alasdairforsythe/tokenmonster

Нежадный токенизатор подслов и тренер словаря для Python, Go, C++ и Javascript

alasdairforsythe
⭐ 626 Go 👤 alasdairforsythe User 🕐 Обновлено 2026-07-10 📅 Создано 2023-05-12
24
glayzzle/php-parser

PHP-парсер для NodeJS — извлечение AST или токенов

glayzzle
⭐ 564 JavaScript 👤 glayzzle Organization 🕐 Обновлено 2026-10-30 📅 Создано 2014-12-07
25
lydell/js-tokens

Крошечный токенизатор JavaScript.

lydell
⭐ 557 JavaScript 👤 lydell User 🕐 Обновлено 2026-11-21 📅 Создано 2014-03-08
26
FoundationVision/UniTok

[NeurIPS 2025 Spotlight] Единый токенизатор для визуальной генерации и понимания

FoundationVision
⭐ 537 Python 👤 FoundationVision Organization 🕐 Обновлено 2025-11-14 📅 Создано 2025-02-27
27
polm/fugashi

Cython MeCab‑обёртка для быстрой, «питоновской» токенизации и морфологического анализа японского языка.

polm
⭐ 536 C++ 👤 polm User 🕐 Обновлено 2025-10-24 📅 Создано 2019-10-14
28
leodevbro/vscode-blockman

Расширение VSCode для подсветки вложенных блоков кода

leodevbro
⭐ 514 TypeScript 👤 leodevbro User 🕐 Обновлено 2026-11-07 📅 Создано 2021-05-12
29
NLPOptimize/flash-tokenizer

ЭФФЕКТИВНЫЙ И ОПТИМИЗИРОВАННЫЙ ДВИГАТЕЛЬ ТОКЕНИЗАТОРА ДЛЯ СЕРВИСА ВЫВОДА LLM

NLPOptimize
⭐ 509 C++ 👤 NLPOptimize Organization 🕐 Обновлено 2026-02-02 📅 Создано 2025-03-09

Часто задаваемые вопросы

1

Какой репозиторий по теме #tokenizer наиболее популярен на GitHub?

Самый высоко оценённый проект с открытым исходным кодом по теме #tokenizer на GitHub — rasbt/LLMs-from-scratch, набравший 108,745 звёзд. Реализуйте LLM, подобный ChatGPT, в PyTorch с нуля, шаг за шагом

2

Какие языки программирования чаще всего используются в репозиториях по теме #tokenizer?

Среди наиболее высоко оценённых проектов по теме #tokenizer на GitHub чаще всего используются языки программирования Python, TypeScript, JavaScript, C++.

3

Как рассчитывается рейтинг репозиториев по теме #tokenizer?

Мы отслеживаем 29 активных репозиториев с открытым исходным кодом, отмеченных тегом #tokenizer (500 и более звёзд), с общим числом 145,054 звёзд и в среднем 5,001 звёзд на репозиторий. Рейтинги обновляются ежедневно на основе данных GitHub API.