Git Stars Git Stars

#tokenizer リポジトリ

#tokenizerのタグが付いた、GitHub上の29件のアクティブなオープンソースリポジトリをご覧ください。合計スター数は145,054個で、プロジェクトあたりの平均は5,001個です。このトピックをリードしているのは、108,745個のスターを獲得しているrasbt/LLMs-from-scratchです。

29
リポジトリ総数
145,054
合計スター数
5,001
リポジトリあたりの平均スター数

リポジトリ合計29件

1
rasbt/LLMs-from-scratch

PyTorchでChatGPTのようなLLMをゼロから段階的に実装する

rasbt
⭐ 108,745 Jupyter Notebook 👤 rasbt User 🕐 更新日時 2026-11-20 📅 作成日 2023-07-23
2
theseer/tokenizer

トークン化された PHP ソースコードを XML(および潜在的な他の形式)に変換するための小さなライブラリ

theseer
⭐ 5,190 PHP 👤 theseer User 🕐 更新日時 2026-02-03 📅 作成日 2017-04-05
3
marcelroed/gigatoken

GB/sでの言語モデルトークン化

marcelroed
⭐ 4,157 Rust 👤 marcelroed User 🕐 更新日時 2026-11-02 📅 作成日 2025-11-10
4
andialbrecht/sqlparse

Python用の非検証SQLパーサーモジュール

andialbrecht
⭐ 4,023 Python 👤 andialbrecht User 🕐 更新日時 2026-11-01 📅 作成日 2012-04-18
5
Chevrotain/chevrotain

JavaScript 用パーサー構築ツールキット

Chevrotain
⭐ 2,820 TypeScript 👤 Chevrotain Organization 🕐 更新日時 2026-11-21 📅 作成日 2015-04-15
6
dqbd/tiktokenizer

OpenAPIトークナイザーのオンラインプレイグラウンド

dqbd
⭐ 1,605 TypeScript 👤 dqbd User 🕐 更新日時 2025-04-24 📅 作成日 2023-03-02
7
roshan-research/hazm

ペルシャNLPツールキット

roshan-research
⭐ 1,435 Python 👤 roshan-research Organization 🕐 更新日時 2026-04-01 📅 作成日 2013-10-29
8
natasha/natasha

基本的なロシア語NLPタスクを解決します。低レベルのNatashaプロジェクト用のAPIです。

natasha
⭐ 1,364 Python 👤 natasha Organization 🕐 更新日時 2026-10-14 📅 作成日 2016-08-03
9
datalust/superpower

高品質なエラー報告を備えた C# パーサー構築ツールキット

datalust
⭐ 1,345 C# 👤 datalust Organization 🕐 更新日時 2026-05-20 📅 作成日 2016-09-01
10
uhop/stream-json

最小限のメモリフットプリントでカスタムJSONおよびJSONC処理パイプラインを構築するためのストリームコンポーネントのマイクロライブラリです。Node.jsまたはWeb Streams上で、SAXにインスパイアされたトークンAPIを使用して、利用可能なメモリよりもはるかに大きなJSONを解析、フィルタリング、変換できます。

uhop
⭐ 1,209 JavaScript 👤 uhop User 🕐 更新日時 2026-11-20 📅 作成日 2013-08-11
11
lovit/soynlp

これは韓国語自然言語処理のためのPythonライブラリです。単語抽出/トークナイザー/品詞判別/前処理の機能を提供します。

lovit
⭐ 996 Python 👤 lovit User 🕐 更新日時 2026-10-04 📅 作成日 2017-05-13
12
ikawaha/kagome

純粋なGoで書かれたスタンドアロンの日本語形態素解析器

ikawaha
⭐ 988 Go 👤 ikawaha User 🕐 更新日時 2026-11-20 📅 作成日 2014-06-26
13
no-context/moo

最適化されたトークナイザー/lexerジェネレーター!🐄 パフォーマンスのために /y を使用。モー。

no-context
⭐ 884 JavaScript 👤 no-context Organization 🕐 更新日時 2026-02-27 📅 作成日 2017-03-10
14
wangfenjin/simple

中国語とピンインをサポートするSQLite fts5全文検索拡張機能|中国語とピンインをサポートするSQLite3 fts5トークナイザー

wangfenjin
⭐ 877 C++ 👤 wangfenjin User 🕐 更新日時 2026-05-17 📅 作成日 2020-03-03
15
niieani/gpt-tokenizer

OpenAIのGPTモデル(gpt-5、gpt-o*、gpt-4oなど)向けの最速JavaScript BPEトークナイザーエンコーダーデコーダー。追加機能を備えたOpenAIのtiktokenのポート。

niieani
⭐ 862 TypeScript 👤 niieani User 🕐 更新日時 2026-11-10 📅 作成日 2023-03-22
16
BLKSerene/Wordless

言語、文学、翻訳の研究のための多言語対応統合コーパスツール

BLKSerene
⭐ 762 Python 👤 BLKSerene User 🕐 更新日時 2025-10-30 📅 作成日 2018-08-23
17
lindera/lindera

多言語形態解析ライブラリ。

lindera
⭐ 708 Rust 👤 lindera Organization 🕐 更新日時 2026-11-21 📅 作成日 2020-01-22
18
risesoft-y9/Data-Labeling

データラベリングは、テキストデータを処理およびラベリングするための専用ツールであり、簡潔で迅速なテキストラベリングプロセスと動的なアルゴリズムフィードバックを通じて、ユーザーがキーワードを迅速にラベリングすることをサポートし、アルゴリズムによって手動ラベリングのコストと時間を継続的に削減できます。データラベリングのプロセスは、まず手動ラベリングによって基礎を構築し、次に自動ラベリングが手動ラベリングをフィードバックし、最後に手動ラベリングで修正を行うことで、ラベリングの精度と効率を大幅に向上させます。データラベリングは、人員の職務管理のためにオープンソースのデジタル基盤に依存する必要があります。

risesoft-y9
⭐ 695 Java 👤 risesoft-y9 Organization 🕐 更新日時 2025-06-23 📅 作成日 2024-08-26
19
cbaziotis/ekphrasis

Ekphrasisは、TwitterやFacebookなどのソーシャルネットワークからのテキストを対象としたテキスト処理ツールです。Ekphrasisは、2つの大規模コーパス(英語のWikipedia、Twitter - 3億3000万件の英語ツイート)からの単語統計を使用して、トークン化、単語正規化、単語分割(ハッシュタグの分割用)、スペル修正を実行します。

cbaziotis
⭐ 676 Python 👤 cbaziotis User 🕐 更新日時 2025-06-02 📅 作成日 2017-02-07
20
open-korean-text/open-korean-text

Open Korean Text Processor - オープンソースの韓国語テキストブロセッサー

open-korean-text
⭐ 651 Scala 👤 open-korean-text Organization 🕐 更新日時 2024-03-12 📅 作成日 2017-01-24
21
jflex-de/jflex

完全なUnicodeサポートを備えたJava™用の高速スキャナージェネレーター

jflex-de
⭐ 637 Java 👤 jflex-de Organization 🕐 更新日時 2026-11-21 📅 作成日 2015-02-15
22
therealoliver/Deepdive-llama3-from-scratch

llama3 の推論ステップを段階的に実行し、コアコンセプトを把握し、プロセス導出をマスターし、コードを実装します。

therealoliver
⭐ 629 Jupyter Notebook 👤 therealoliver User 🕐 更新日時 2025-02-24 📅 作成日 2025-02-19
23
alasdairforsythe/tokenmonster

Python、Go、C++、Javascript向けの非貪欲サブワードトークナイザーと語彙トレーナー

alasdairforsythe
⭐ 626 Go 👤 alasdairforsythe User 🕐 更新日時 2026-07-10 📅 作成日 2023-05-12
24
glayzzle/php-parser

NodeJS用PHPパーサー - ASTまたはトークンを抽出

glayzzle
⭐ 564 JavaScript 👤 glayzzle Organization 🕐 更新日時 2026-10-30 📅 作成日 2014-12-07
25
lydell/js-tokens

小さなJavaScriptトークナイザー。

lydell
⭐ 557 JavaScript 👤 lydell User 🕐 更新日時 2026-11-21 📅 作成日 2014-03-08
26
FoundationVision/UniTok

[NeurIPS 2025 Spotlight] 視覚生成・理解のための統合トークナイザー

FoundationVision
⭐ 537 Python 👤 FoundationVision Organization 🕐 更新日時 2025-11-14 📅 作成日 2025-02-27
27
polm/fugashi

高速でPython的な日本語トークン化と形態素解析を行うCython MeCabラッパーです。

polm
⭐ 536 C++ 👤 polm User 🕐 更新日時 2025-10-24 📅 作成日 2019-10-14
28
leodevbro/vscode-blockman

ネストされたコードブロックをハイライトする VSCode 拡張機能

leodevbro
⭐ 514 TypeScript 👤 leodevbro User 🕐 更新日時 2026-11-07 📅 作成日 2021-05-12
29
NLPOptimize/flash-tokenizer

LLM推論サービングのための効率的で最適化されたトークナイザーエンジン

NLPOptimize
⭐ 509 C++ 👤 NLPOptimize Organization 🕐 更新日時 2026-02-02 📅 作成日 2025-03-09

よくある質問

1

GitHubで最も人気のある#tokenizerリポジトリは何ですか?

GitHubで最も上位にランクインしているオープンソースの#tokenizerプロジェクトは、108,745個のスターを獲得しているrasbt/LLMs-from-scratchです。PyTorchでChatGPTのようなLLMをゼロから段階的に実装する

2

#tokenizerリポジトリで最もよく使われているプログラミング言語は何ですか?

GitHubで上位にランクインしている#tokenizerプロジェクトでは、Python, TypeScript, JavaScript, C++が最も一般的なプログラミング言語です。

3

#tokenizerリポジトリのランキングはどのように算出されていますか?

#tokenizerのタグが付いた29件のアクティブなオープンソースリポジトリ(スター500個以上)を追跡しています。合計スター数は145,054個で、リポジトリあたりの平均は5,001個です。ランキングはGitHub APIからのデータに基づいて毎日更新されます。