#tokenizer 仓库
探索 29 个标记为 #tokenizer 的活跃开源 GitHub 仓库,它们累计获得 145,054 个 Star(平均每个项目 5,001 个)。该主题的领先项目是 rasbt/LLMs-from-scratch,拥有 108,745 个 Star。
共 29 个仓库
一个用于构建自定义 JSON 和 JSONC 处理流水线的流组件微型库,具有极小的内存占用。通过受 SAX 启发的令牌 API,可以在 Node.js 或 Web Streams 上解析、过滤和转换远超可用内存大小的 JSON 数据。
支持中文和拼音的 SQLite fts5 全文搜索扩展 | A SQLite3 fts5 tokenizer which supports Chinese and PinYin
OpenAI 的 GPT 模型(gpt-5、gpt-o*、gpt-4o 等)最快的 JavaScript BPE 分词器编码器解码器。OpenAI tiktoken 的移植版本,具有附加功能。
数据标注是一款专门对文本数据进行处理和标注的工具,通过简化快捷的文本标注流程和动态的算法反馈,支持用户快速标注关键词并能通过算法持续减少人工标注的成本和时间。数据标注的过程先由人工标注构建基础,再由自动标注反哺人工标注,最后由人工标注进行纠偏,从而大幅度提高标注的精准度和高效性。数据标注需要依赖开源的数字底座进行人员岗位管控。
Ekphrasis 是一个文本处理工具,面向来自社交网络(如 Twitter 或 Facebook)的文本。Ekphrasis 使用来自 2 个大型语料库(英语维基百科、Twitter - 3.3 亿条英语推文)的单词统计信息,执行分词、单词规范化、单词分割(用于拆分标签)和拼写校正。
常见问题解答
GitHub 上最受欢迎的 #tokenizer 仓库是什么?
GitHub 上排名第一的开源 #tokenizer 项目是 rasbt/LLMs-from-scratch,拥有 108,745 个 Star。从头开始,一步一步用 PyTorch 实现一个类似 ChatGPT 的 LLM
#tokenizer 仓库中最常使用的编程语言有哪些?
在 GitHub 上排名靠前的 #tokenizer 项目中,最常见的编程语言是 Python, TypeScript, JavaScript, C++。
#tokenizer 仓库的排名是如何计算的?
我们跟踪了 29 个标记为 #tokenizer 且拥有 500+ 个 Star 的活跃开源仓库,共计获得 145,054 个 Star,平均每个仓库拥有 5,001 个 Star。排名每日根据 GitHub API 更新。