Git Stars Git Stars

#tokenization 仓库

探索 33 个标记为 #tokenization 的活跃开源 GitHub 仓库,它们累计获得 183,037 个 Star(平均每个项目 5,546 个)。该主题的领先项目是 shiyu-coder/Kronos,拥有 48,042 个 Star。

33
仓库总数
183,037
总星标数
5,546
平均每个仓库星标数
1
shiyu-coder/Kronos

Kronos:金融市场语言的基础模型

shiyu-coder
⭐ 48,042 Python 👤 shiyu-coder User 🕐 已更新 2026-04-13 📅 创建时间 2025-07-01
2
explosion/spaCy

💫 Python 中的工业级自然语言处理 (NLP)

explosion
⭐ 34,082 Python 👤 explosion Organization 🕐 已更新 2026-11-21 📅 创建时间 2014-07-03
3
toon-format/toon

🎒 面向令牌的对象表示法(TOON)——用于LLM提示的紧凑、人类可读的JSON数据序列化。TypeScript SDK、CLI、基准测试。

toon-format
⭐ 25,642 TypeScript 👤 toon-format Organization 🕐 已更新 2026-11-11 📅 创建时间 2025-10-22
4
openai/tiktoken

tiktoken 是一个与 OpenAI 模型配套使用的快速 BPE 分词器。

openai
⭐ 19,698 Python 👤 openai Organization 🕐 已更新 2026-11-08 📅 创建时间 2022-12-01
5
doctrine/lexer

用于自顶向下、递归下降解析器的词法分析器基础库。

doctrine
⭐ 11,141 PHP 👤 doctrine Organization 🕐 已更新 2026-11-15 📅 创建时间 2013-01-12
6
karpathy/minbpe

用于LLM分词的字节对编码(BPE)算法的极简、干净的代码。

karpathy
⭐ 10,241 Python 👤 karpathy User 🕐 已更新 2024-07-01 📅 创建时间 2024-02-16
7
openai/harmony

用于 gpt-oss 的 harmony 响应格式的渲染器

openai
⭐ 4,548 Rust 👤 openai Organization 🕐 已更新 2026-04-08 📅 创建时间 2025-07-31
8
marcelroed/gigatoken

每秒GB级别的语言模型分词

marcelroed
⭐ 4,157 Rust 👤 marcelroed User 🕐 已更新 2026-11-02 📅 创建时间 2025-11-10
9
AgentOps-AI/tokencost

400+ LLM 的简易代币价格估算。TokenOps。

AgentOps-AI
⭐ 2,007 Python 👤 AgentOps-AI Organization 🕐 已更新 2025-09-05 📅 创建时间 2023-12-03
10
apple-aiml-research/ml-4m

4M: 大规模多模态掩码建模

apple-aiml-research
⭐ 1,814 Python 👤 apple-aiml-research Organization 🕐 已更新 2026-09-11 📅 创建时间 2024-04-08
11
rspeer/wordfreq

访问一个包含各种自然语言的词频数据库。

rspeer
⭐ 1,664 Python 👤 rspeer User 🕐 已更新 2025-01-04 📅 创建时间 2013-10-28
12
Ridera-Rwa/Ridera-core

Ridera — Base上的移动RWA核心协议仓库。包含文档、架构、智能合约和协议设计。

Ridera-Rwa
⭐ 1,593 Solidity 👤 Ridera-Rwa User 🕐 已更新 2025-12-15 📅 创建时间 2025-11-24
13
shikijs/shiki-magic-move

使用 Shiki 实现流畅的代码块动画

shikijs
⭐ 1,511 TypeScript 👤 shikijs Organization 🕐 已更新 2026-05-19 📅 创建时间 2024-02-22
14
securitybunker/databunker

客户 PII/PHI/PCI/KYC 记录的安全存储库

securitybunker
⭐ 1,498 Go 👤 securitybunker Organization 🕐 已更新 2026-11-20 📅 创建时间 2019-12-08
15
lunasec-io/lunasec

LunaSec - 依赖安全扫描器,可自动通知您 Pull Request 和构建中的 Log4Shell 或 node-ipc 等漏洞。通过 LunaTrace GitHub 应用程序 30 秒内即可保护自己:https://github.com/marketplace/lunatrace-by-lunasec/

lunasec-io
⭐ 1,461 TypeScript 👤 lunasec-io Organization 🕐 已更新 2024-05-02 📅 创建时间 2021-03-16
16
huggingface/swift-transformers

用于在 Swift 中实现类 transformers API 的 Swift 包

huggingface
⭐ 1,366 Swift 👤 huggingface Organization 🕐 已更新 2026-11-06 📅 创建时间 2023-05-11
17
tensorflow/text

让文本成为 TensorFlow 中的一流公民。

tensorflow
⭐ 1,299 C++ 👤 tensorflow Organization 🕐 已更新 2026-11-19 📅 创建时间 2019-05-29
18
RavenProject/Ravencoin

Ravencoin Core 集成/暂存树

RavenProject
⭐ 1,122 C 👤 RavenProject Organization 🕐 已更新 2026-08-18 📅 创建时间 2017-07-09
19
mistralai/mistral-common

Mistral模型的官方推理预处理库

mistralai
⭐ 965 Python 👤 mistralai Organization 🕐 已更新 2026-11-19 📅 创建时间 2024-04-15
20
servo/rust-cssparser

CSS Syntax Level 3 的 Rust 实现

servo
⭐ 875 Rust 👤 servo Organization 🕐 已更新 2026-11-18 📅 创建时间 2013-07-10
21
KennFalcon/elasticsearch-analysis-hanlp

Elasticsearch 的 HanLP 分词器

KennFalcon
⭐ 854 Java 👤 KennFalcon User 🕐 已更新 2024-07-12 📅 创建时间 2017-03-04
22
explosion/spacy-streamlit

👑 Streamlit 应用的 spaCy 构建块和可视化工具

explosion
⭐ 849 Python 👤 explosion Organization 🕐 已更新 2024-07-29 📅 创建时间 2020-06-23
23
nlp-uoregon/trankit

Trankit 是一个轻量级的基于 Transformer 的 Python 工具包,用于多语言自然语言处理

nlp-uoregon
⭐ 795 Python 👤 nlp-uoregon User 🕐 已更新 2025-07-22 📅 创建时间 2021-01-08
24
angeloskath/php-nlp-tools

PHP 中的自然语言处理工具

angeloskath
⭐ 762 PHP 👤 angeloskath User 🕐 已更新 2024-07-22 📅 创建时间 2012-08-22
25
cbaziotis/ekphrasis

Ekphrasis 是一个文本处理工具,面向来自社交网络(如 Twitter 或 Facebook)的文本。Ekphrasis 使用来自 2 个大型语料库(英语维基百科、Twitter - 3.3 亿条英语推文)的单词统计信息,执行分词、单词规范化、单词分割(用于拆分标签)和拼写校正。

cbaziotis
⭐ 676 Python 👤 cbaziotis User 🕐 已更新 2025-06-02 📅 创建时间 2017-02-07
26
alasdairforsythe/tokenmonster

用于Python、Go、C++和JavaScript的非贪婪子词分词器和词汇训练器

alasdairforsythe
⭐ 626 Go 👤 alasdairforsythe User 🕐 已更新 2026-07-10 📅 创建时间 2023-05-12
27
SamuraiT/mecab-python3

:snake: mecab-python. 原始版本可以在这里找到:http://taku910.github.io/mecab/

SamuraiT
⭐ 579 C++ 👤 SamuraiT User 🕐 已更新 2025-11-25 📅 创建时间 2014-05-31
28
adobe/NLP-Cube

自然语言处理管道 - 句子分割、标记化、词形还原、词性标注和依存解析

adobe
⭐ 561 HTML 👤 adobe Organization 🕐 已更新 2024-11-03 📅 创建时间 2018-03-13
29
cl-tohoku/bert-japanese

用于日文文本的BERT模型。

cl-tohoku
⭐ 540 Python 👤 cl-tohoku Organization 🕐 已更新 2024-03-23 📅 创建时间 2019-11-14
30
xingchensong/S3Tokenizer

CosyVoice中提出的监督式语义语音分词器(S3Tokenizer)的逆向工程

xingchensong
⭐ 536 Python 👤 xingchensong User 🕐 已更新 2026-11-01 📅 创建时间 2024-09-09
31
yooper/php-text-analysis

PHP Text Analysis 是一个用于使用 PHP 语言执行信息检索 (IR) 和自然语言处理 (NLP) 任务的库

yooper
⭐ 531 PHP 👤 yooper User 🕐 已更新 2024-12-28 📅 创建时间 2012-05-21
32
lightninglabs/taproot-assets

Taproot Assets Protocol 规范的 Layer 1 deamon,使用 Go (golang) 编写

lightninglabs
⭐ 529 Go 👤 lightninglabs Organization 🕐 已更新 2026-11-17 📅 创建时间 2022-04-11
33
patrikzudel/PatrikZeros-ChatGPT-API-UI

静态网页,可让您使用 OpenAI API 密钥获得与 ChatGPT 相同的体验!

patrikzudel
⭐ 508 Svelte 👤 patrikzudel User 🕐 已更新 2024-01-08 📅 创建时间 2023-03-07

常见问题解答

1

GitHub 上最受欢迎的 #tokenization 仓库是什么?

GitHub 上排名第一的开源 #tokenization 项目是 shiyu-coder/Kronos,拥有 48,042 个 Star。Kronos:金融市场语言的基础模型

2

#tokenization 仓库中最常使用的编程语言有哪些?

在 GitHub 上排名靠前的 #tokenization 项目中,最常见的编程语言是 Python, TypeScript, PHP, Rust。

3

#tokenization 仓库的排名是如何计算的?

我们跟踪了 33 个标记为 #tokenization 且拥有 500+ 个 Star 的活跃开源仓库,共计获得 183,037 个 Star,平均每个仓库拥有 5,546 个 Star。排名每日根据 GitHub API 更新。