Git Stars Git Stars

#tokenization Репозитории

Откройте для себя 33 активных репозиториев с открытым исходным кодом на GitHub, отмеченных тегом #tokenization, с общим числом 183,037 звёзд (в среднем 5,546 на проект). Лидером этой темы является shiyu-coder/Kronos, набравший 48,042 звёзд.

33
Всего репозиториев
183,037
Всего звезд
5,546
Среднее количество звезд на репозиторий
Языки программирования: Python TypeScript PHP Rust Go C++ Solidity Swift

Всего репозиториев: 33

1
shiyu-coder/Kronos

Kronos: Базовая модель для языка финансовых рынков

shiyu-coder
⭐ 48,042 Python 👤 shiyu-coder User 🕐 Обновлено 2026-04-13 📅 Создано 2025-07-01
2
explosion/spaCy

💫 Промышленный уровень обработки естественного языка (NLP) на Python

explosion
⭐ 34,082 Python 👤 explosion Organization 🕐 Обновлено 2026-11-21 📅 Создано 2014-07-03
3
toon-format/toon

🎒 Токен-ориентированная объектная нотация (TOON) – компактная, читаемая человеком сериализация данных JSON для подсказок LLM. TypeScript SDK, CLI, бенчмарки.

toon-format
⭐ 25,642 TypeScript 👤 toon-format Organization 🕐 Обновлено 2026-11-11 📅 Создано 2025-10-22
4
openai/tiktoken

tiktoken — это быстрый токенизатор BPE для использования с моделями OpenAI.

openai
⭐ 19,698 Python 👤 openai Organization 🕐 Обновлено 2026-11-08 📅 Создано 2022-12-01
5
doctrine/lexer

Базовая библиотека для лексера, который может использоваться в парсерах сверху вниз с рекурсивным спуском.

doctrine
⭐ 11,141 PHP 👤 doctrine Organization 🕐 Обновлено 2026-11-15 📅 Создано 2013-01-12
6
karpathy/minbpe

Минимальный, чистый код для алгоритма Byte Pair Encoding (BPE), часто используемого при токенизации LLM.

karpathy
⭐ 10,241 Python 👤 karpathy User 🕐 Обновлено 2024-07-01 📅 Создано 2024-02-16
7
openai/harmony

Рендерер для формата ответов harmony, используемого с gpt-oss

openai
⭐ 4,548 Rust 👤 openai Organization 🕐 Обновлено 2026-04-08 📅 Создано 2025-07-31
8
marcelroed/gigatoken

Токенизация языковых моделей со скоростью ГБ/с

marcelroed
⭐ 4,157 Rust 👤 marcelroed User 🕐 Обновлено 2026-11-02 📅 Создано 2025-11-10
9
AgentOps-AI/tokencost

Простые оценки стоимости токенов для более 400 LLM. TokenOps.

AgentOps-AI
⭐ 2,007 Python 👤 AgentOps-AI Organization 🕐 Обновлено 2025-09-05 📅 Создано 2023-12-03
10
apple-aiml-research/ml-4m

4M: Массовое мультимодальное маскированное моделирование

apple-aiml-research
⭐ 1,814 Python 👤 apple-aiml-research Organization 🕐 Обновлено 2026-09-11 📅 Создано 2024-04-08
11
rspeer/wordfreq

Получите доступ к базе данных частотности слов на различных естественных языках.

rspeer
⭐ 1,664 Python 👤 rspeer User 🕐 Обновлено 2025-01-04 📅 Создано 2013-10-28
12
Ridera-Rwa/Ridera-core

Основной репозиторий протокола для Ridera — Mobility RWA на Base. Включает документацию, архитектуру, смарт-контракты и дизайн протокола.

Ridera-Rwa
⭐ 1,593 Solidity 👤 Ridera-Rwa User 🕐 Обновлено 2025-12-15 📅 Создано 2025-11-24
13
shikijs/shiki-magic-move

Плавная анимация блоков кода с помощью Shiki

shikijs
⭐ 1,511 TypeScript 👤 shikijs Organization 🕐 Обновлено 2026-05-19 📅 Создано 2024-02-22
14
securitybunker/databunker

Безопасный Хранилище для Записей PII/PHI/PCI/KYC Клиентов

securitybunker
⭐ 1,498 Go 👤 securitybunker Organization 🕐 Обновлено 2026-11-20 📅 Создано 2019-12-08
15
lunasec-io/lunasec

LunaSec – сканер безопасности зависимостей, который автоматически уведомляет вас об уязвимостях, таких как Log4Shell или node-ipc, в ваших Pull Requests и сборках. Защитите себя за 30 секунд с помощью приложения LunaTrace для GitHub: https://github.com/marketplace/lunatrace-by-lunasec/

lunasec-io
⭐ 1,461 TypeScript 👤 lunasec-io Organization 🕐 Обновлено 2024-05-02 📅 Создано 2021-03-16
16
huggingface/swift-transformers

Пакет Swift для реализации API, похожего на transformers, на Swift

huggingface
⭐ 1,366 Swift 👤 huggingface Organization 🕐 Обновлено 2026-11-06 📅 Создано 2023-05-11
17
tensorflow/text

Делаем текст гражданином первого класса в TensorFlow.

tensorflow
⭐ 1,299 C++ 👤 tensorflow Organization 🕐 Обновлено 2026-11-19 📅 Создано 2019-05-29
18
RavenProject/Ravencoin

Дерево интеграции/стажировки Ravencoin Core

RavenProject
⭐ 1,122 C 👤 RavenProject Organization 🕐 Обновлено 2026-08-18 📅 Создано 2017-07-09
19
mistralai/mistral-common

Официальная библиотека вывода для предварительной обработки моделей Mistral

mistralai
⭐ 965 Python 👤 mistralai Organization 🕐 Обновлено 2026-11-19 📅 Создано 2024-04-15
20
servo/rust-cssparser

Реализация на Rust синтаксиса CSS уровня 3

servo
⭐ 875 Rust 👤 servo Organization 🕐 Обновлено 2026-11-18 📅 Создано 2013-07-10
21
KennFalcon/elasticsearch-analysis-hanlp

Анализатор HanLP для Elasticsearch

KennFalcon
⭐ 854 Java 👤 KennFalcon User 🕐 Обновлено 2024-07-12 📅 Создано 2017-03-04
22
explosion/spacy-streamlit

👑 Строительные блоки и визуализаторы spaCy для приложений Streamlit

explosion
⭐ 849 Python 👤 explosion Organization 🕐 Обновлено 2024-07-29 📅 Создано 2020-06-23
23
nlp-uoregon/trankit

Trankit — это легкий Python-инструментарий на основе Transformer для многоязычной обработки естественного языка

nlp-uoregon
⭐ 795 Python 👤 nlp-uoregon User 🕐 Обновлено 2025-07-22 📅 Создано 2021-01-08
24
angeloskath/php-nlp-tools

Инструменты обработки естественного языка в PHP

angeloskath
⭐ 762 PHP 👤 angeloskath User 🕐 Обновлено 2024-07-22 📅 Создано 2012-08-22
25
cbaziotis/ekphrasis

Ekphrasis — это инструмент обработки текста, ориентированный на тексты из социальных сетей, таких как Twitter или Facebook. Ekphrasis выполняет токенизацию, нормализацию слов, сегментацию слов (для разделения хэштегов) и исправление орфографии, используя статистику слов из 2 больших корпусов (английская Википедия, Twitter — 330 миллионов английских твитов).

cbaziotis
⭐ 676 Python 👤 cbaziotis User 🕐 Обновлено 2025-06-02 📅 Создано 2017-02-07
26
alasdairforsythe/tokenmonster

Нежадный токенизатор подслов и тренер словаря для Python, Go, C++ и Javascript

alasdairforsythe
⭐ 626 Go 👤 alasdairforsythe User 🕐 Обновлено 2026-07-10 📅 Создано 2023-05-12
27
SamuraiT/mecab-python3

:snake: mecab-python. Оригинальную версию можно найти здесь: http://taku910.github.io/mecab/

SamuraiT
⭐ 579 C++ 👤 SamuraiT User 🕐 Обновлено 2025-11-25 📅 Создано 2014-05-31
28
adobe/NLP-Cube

Конвейер обработки естественного языка - Разбиение предложений, Токенизация, Лемматизация, Разметка частей речи и Парсинг зависимостей

adobe
⭐ 561 HTML 👤 adobe Organization 🕐 Обновлено 2024-11-03 📅 Создано 2018-03-13
29
cl-tohoku/bert-japanese

Модели BERT для японского текста.

cl-tohoku
⭐ 540 Python 👤 cl-tohoku Organization 🕐 Обновлено 2024-03-23 📅 Создано 2019-11-14
30
xingchensong/S3Tokenizer

Реверс-инжиниринг контролируемого семантического токенизатора речи (S3Tokenizer), предложенного в CosyVoice

xingchensong
⭐ 536 Python 👤 xingchensong User 🕐 Обновлено 2026-11-01 📅 Создано 2024-09-09
31
yooper/php-text-analysis

PHP Text Analysis — это библиотека для выполнения задач по извлечению информации (IR) и обработке естественного языка (NLP) с использованием языка PHP

yooper
⭐ 531 PHP 👤 yooper User 🕐 Обновлено 2024-12-28 📅 Создано 2012-05-21
32
lightninglabs/taproot-assets

Демон уровня 1 для спецификации Taproot Assets Protocol, написанный на Go (golang)

lightninglabs
⭐ 529 Go 👤 lightninglabs Organization 🕐 Обновлено 2026-11-17 📅 Создано 2022-04-11
33
patrikzudel/PatrikZeros-ChatGPT-API-UI

Статическая веб-страница, которая позволяет вам использовать ваш ключ OpenAI API для получения того же опыта, что и с ChatGPT!

patrikzudel
⭐ 508 Svelte 👤 patrikzudel User 🕐 Обновлено 2024-01-08 📅 Создано 2023-03-07

Часто задаваемые вопросы

1

Какой репозиторий по теме #tokenization наиболее популярен на GitHub?

Самый высоко оценённый проект с открытым исходным кодом по теме #tokenization на GitHub — shiyu-coder/Kronos, набравший 48,042 звёзд. Kronos: Базовая модель для языка финансовых рынков

2

Какие языки программирования чаще всего используются в репозиториях по теме #tokenization?

Среди наиболее высоко оценённых проектов по теме #tokenization на GitHub чаще всего используются языки программирования Python, TypeScript, PHP, Rust.

3

Как рассчитывается рейтинг репозиториев по теме #tokenization?

Мы отслеживаем 33 активных репозиториев с открытым исходным кодом, отмеченных тегом #tokenization (500 и более звёзд), с общим числом 183,037 звёзд и в среднем 5,546 звёзд на репозиторий. Рейтинги обновляются ежедневно на основе данных GitHub API.