Git Stars Git Stars

#tokenizer 仓库

探索 29 个标记为 #tokenizer 的活跃开源 GitHub 仓库,它们累计获得 145,054 个 Star(平均每个项目 5,001 个)。该主题的领先项目是 rasbt/LLMs-from-scratch,拥有 108,745 个 Star。

29
仓库总数
145,054
总星标数
5,001
平均每个仓库星标数
1
rasbt/LLMs-from-scratch

从头开始,一步一步用 PyTorch 实现一个类似 ChatGPT 的 LLM

rasbt
⭐ 108,745 Jupyter Notebook 👤 rasbt User 🕐 已更新 2026-11-20 📅 创建时间 2023-07-23
2
theseer/tokenizer

一个用于将标记化的 PHP 源代码转换为 XML(以及潜在的其他格式)的小型库

theseer
⭐ 5,190 PHP 👤 theseer User 🕐 已更新 2026-02-03 📅 创建时间 2017-04-05
3
marcelroed/gigatoken

每秒GB级别的语言模型分词

marcelroed
⭐ 4,157 Rust 👤 marcelroed User 🕐 已更新 2026-11-02 📅 创建时间 2025-11-10
4
andialbrecht/sqlparse

一个用于Python的非验证SQL解析器模块

andialbrecht
⭐ 4,023 Python 👤 andialbrecht User 🕐 已更新 2026-11-01 📅 创建时间 2012-04-18
5
Chevrotain/chevrotain

JavaScript 的解析器构建工具包

Chevrotain
⭐ 2,820 TypeScript 👤 Chevrotain Organization 🕐 已更新 2026-11-21 📅 创建时间 2015-04-15
6
dqbd/tiktokenizer

OpenAPI 分词器在线游乐场

dqbd
⭐ 1,605 TypeScript 👤 dqbd User 🕐 已更新 2025-04-24 📅 创建时间 2023-03-02
7
roshan-research/hazm

波斯自然语言处理工具包

roshan-research
⭐ 1,435 Python 👤 roshan-research Organization 🕐 已更新 2026-04-01 📅 创建时间 2013-10-29
8
natasha/natasha

解决基本的俄语 NLP 任务,为低级别的 Natasha 项目提供 API

natasha
⭐ 1,364 Python 👤 natasha Organization 🕐 已更新 2026-10-14 📅 创建时间 2016-08-03
9
datalust/superpower

一个带有高质量错误报告的 C# 解析器构建工具包

datalust
⭐ 1,345 C# 👤 datalust Organization 🕐 已更新 2026-05-20 📅 创建时间 2016-09-01
10
uhop/stream-json

一个用于构建自定义 JSON 和 JSONC 处理流水线的流组件微型库,具有极小的内存占用。通过受 SAX 启发的令牌 API,可以在 Node.js 或 Web Streams 上解析、过滤和转换远超可用内存大小的 JSON 数据。

uhop
⭐ 1,209 JavaScript 👤 uhop User 🕐 已更新 2026-11-20 📅 创建时间 2013-08-11
11
lovit/soynlp

这是用于韩语自然语言处理的Python库。它提供词提取/分词器/词性标注/预处理的功能。

lovit
⭐ 996 Python 👤 lovit User 🕐 已更新 2026-10-04 📅 创建时间 2017-05-13
12
ikawaha/kagome

纯Go编写的自给自足的日语形态学分析器

ikawaha
⭐ 988 Go 👤 ikawaha User 🕐 已更新 2026-11-20 📅 创建时间 2014-06-26
13
no-context/moo

优化的分词器/词法分析器生成器!🐄 使用 /y 以提升性能。哞。

no-context
⭐ 884 JavaScript 👤 no-context Organization 🕐 已更新 2026-02-27 📅 创建时间 2017-03-10
14
wangfenjin/simple

支持中文和拼音的 SQLite fts5 全文搜索扩展 | A SQLite3 fts5 tokenizer which supports Chinese and PinYin

wangfenjin
⭐ 877 C++ 👤 wangfenjin User 🕐 已更新 2026-05-17 📅 创建时间 2020-03-03
15
niieani/gpt-tokenizer

OpenAI 的 GPT 模型(gpt-5、gpt-o*、gpt-4o 等)最快的 JavaScript BPE 分词器编码器解码器。OpenAI tiktoken 的移植版本,具有附加功能。

niieani
⭐ 862 TypeScript 👤 niieani User 🕐 已更新 2026-11-10 📅 创建时间 2023-03-22
16
BLKSerene/Wordless

支持多语言的集成语料库工具,用于语言、文学和翻译研究

BLKSerene
⭐ 762 Python 👤 BLKSerene User 🕐 已更新 2025-10-30 📅 创建时间 2018-08-23
17
lindera/lindera

一个多语言形态分析库。

lindera
⭐ 708 Rust 👤 lindera Organization 🕐 已更新 2026-11-21 📅 创建时间 2020-01-22
18
risesoft-y9/Data-Labeling

数据标注是一款专门对文本数据进行处理和标注的工具,通过简化快捷的文本标注流程和动态的算法反馈,支持用户快速标注关键词并能通过算法持续减少人工标注的成本和时间。数据标注的过程先由人工标注构建基础,再由自动标注反哺人工标注,最后由人工标注进行纠偏,从而大幅度提高标注的精准度和高效性。数据标注需要依赖开源的数字底座进行人员岗位管控。

risesoft-y9
⭐ 695 Java 👤 risesoft-y9 Organization 🕐 已更新 2025-06-23 📅 创建时间 2024-08-26
19
cbaziotis/ekphrasis

Ekphrasis 是一个文本处理工具,面向来自社交网络(如 Twitter 或 Facebook)的文本。Ekphrasis 使用来自 2 个大型语料库(英语维基百科、Twitter - 3.3 亿条英语推文)的单词统计信息,执行分词、单词规范化、单词分割(用于拆分标签)和拼写校正。

cbaziotis
⭐ 676 Python 👤 cbaziotis User 🕐 已更新 2025-06-02 📅 创建时间 2017-02-07
20
open-korean-text/open-korean-text

Open Korean Text Processor - 开源韩文文本处理器

open-korean-text
⭐ 651 Scala 👤 open-korean-text Organization 🕐 已更新 2024-03-12 📅 创建时间 2017-01-24
21
jflex-de/jflex

支持完整Unicode的Java™快速扫描仪生成器

jflex-de
⭐ 637 Java 👤 jflex-de Organization 🕐 已更新 2026-11-21 📅 创建时间 2015-02-15
22
therealoliver/Deepdive-llama3-from-scratch

逐步实现 llama3 推理,掌握核心概念,精通过程推导,实现代码。

therealoliver
⭐ 629 Jupyter Notebook 👤 therealoliver User 🕐 已更新 2025-02-24 📅 创建时间 2025-02-19
23
alasdairforsythe/tokenmonster

用于Python、Go、C++和JavaScript的非贪婪子词分词器和词汇训练器

alasdairforsythe
⭐ 626 Go 👤 alasdairforsythe User 🕐 已更新 2026-07-10 📅 创建时间 2023-05-12
24
glayzzle/php-parser

NodeJS PHP 解析器 - 提取 AST 或词法标记

glayzzle
⭐ 564 JavaScript 👤 glayzzle Organization 🕐 已更新 2026-10-30 📅 创建时间 2014-12-07
25
lydell/js-tokens

极小的 JavaScript 分词器。

lydell
⭐ 557 JavaScript 👤 lydell User 🕐 已更新 2026-11-21 📅 创建时间 2014-03-08
26
FoundationVision/UniTok

[NeurIPS 2025 Spotlight] 视觉生成与理解的统一分词器

FoundationVision
⭐ 537 Python 👤 FoundationVision Organization 🕐 已更新 2025-11-14 📅 创建时间 2025-02-27
27
polm/fugashi

一个快速、Python化的 Cython MeCab 包装器,用于日语分词和形态学分析。

polm
⭐ 536 C++ 👤 polm User 🕐 已更新 2025-10-24 📅 创建时间 2019-10-14
28
leodevbro/vscode-blockman

用于高亮显示嵌套代码块的 VSCode 扩展

leodevbro
⭐ 514 TypeScript 👤 leodevbro User 🕐 已更新 2026-11-07 📅 创建时间 2021-05-12
29
NLPOptimize/flash-tokenizer

高效优化的LLM推理服务分词器引擎

NLPOptimize
⭐ 509 C++ 👤 NLPOptimize Organization 🕐 已更新 2026-02-02 📅 创建时间 2025-03-09

常见问题解答

1

GitHub 上最受欢迎的 #tokenizer 仓库是什么?

GitHub 上排名第一的开源 #tokenizer 项目是 rasbt/LLMs-from-scratch,拥有 108,745 个 Star。从头开始,一步一步用 PyTorch 实现一个类似 ChatGPT 的 LLM

2

#tokenizer 仓库中最常使用的编程语言有哪些?

在 GitHub 上排名靠前的 #tokenizer 项目中,最常见的编程语言是 Python, TypeScript, JavaScript, C++。

3

#tokenizer 仓库的排名是如何计算的?

我们跟踪了 29 个标记为 #tokenizer 且拥有 500+ 个 Star 的活跃开源仓库,共计获得 145,054 个 Star,平均每个仓库拥有 5,001 个 Star。排名每日根据 GitHub API 更新。