Git Stars Git Stars

#tokenization リポジトリ

#tokenizationのタグが付いた、GitHub上の33件のアクティブなオープンソースリポジトリをご覧ください。合計スター数は183,037個で、プロジェクトあたりの平均は5,546個です。このトピックをリードしているのは、48,042個のスターを獲得しているshiyu-coder/Kronosです。

33
リポジトリ総数
183,037
合計スター数
5,546
リポジトリあたりの平均スター数

リポジトリ合計33件

1
shiyu-coder/Kronos

Kronos:金融市場言語のための基盤モデル

shiyu-coder
⭐ 48,042 Python 👤 shiyu-coder User 🕐 更新日時 2026-04-13 📅 作成日 2025-07-01
2
explosion/spaCy

💫 Pythonにおける強力な自然言語処理(NLP)

explosion
⭐ 34,082 Python 👤 explosion Organization 🕐 更新日時 2026-11-21 📅 作成日 2014-07-03
3
toon-format/toon

🎒 トークン指向オブジェクト表記法(TOON) – LLMプロンプト向けのコンパクトで人間が読めるJSONデータのシリアル化。TypeScript SDK、CLI、ベンチマーク。

toon-format
⭐ 25,642 TypeScript 👤 toon-format Organization 🕐 更新日時 2026-11-11 📅 作成日 2025-10-22
4
openai/tiktoken

tiktokenは、OpenAIのモデルで使用するための高速なBPEトークナイザーです。

openai
⭐ 19,698 Python 👤 openai Organization 🕐 更新日時 2026-11-08 📅 作成日 2022-12-01
5
doctrine/lexer

トップダウン、帰納的降下パーサーで使用できるレクサーのベースライブラリ。

doctrine
⭐ 11,141 PHP 👤 doctrine Organization 🕐 更新日時 2026-11-15 📅 作成日 2013-01-12
6
karpathy/minbpe

LLMトークン化で一般的に使用されるバイトペアエンコーディング(BPE)アルゴリズムの、ミニマルでクリーンなコード。

karpathy
⭐ 10,241 Python 👤 karpathy User 🕐 更新日時 2024-07-01 📅 作成日 2024-02-16
7
openai/harmony

gpt-ossと連携するharmony応答形式用のレンダラー

openai
⭐ 4,548 Rust 👤 openai Organization 🕐 更新日時 2026-04-08 📅 作成日 2025-07-31
8
marcelroed/gigatoken

GB/sでの言語モデルトークン化

marcelroed
⭐ 4,157 Rust 👤 marcelroed User 🕐 更新日時 2026-11-02 📅 作成日 2025-11-10
9
AgentOps-AI/tokencost

400以上のLLM向けの簡単なトークン価格見積もり。TokenOps。

AgentOps-AI
⭐ 2,007 Python 👤 AgentOps-AI Organization 🕐 更新日時 2025-09-05 📅 作成日 2023-12-03
10
apple-aiml-research/ml-4m

4M: 大規模マルチモーダルマスキングモデリング

apple-aiml-research
⭐ 1,814 Python 👤 apple-aiml-research Organization 🕐 更新日時 2026-09-11 📅 作成日 2024-04-08
11
rspeer/wordfreq

さまざまな自然言語の単語頻度データベースにアクセスします。

rspeer
⭐ 1,664 Python 👤 rspeer User 🕐 更新日時 2025-01-04 📅 作成日 2013-10-28
12
Ridera-Rwa/Ridera-core

Ridera — Base上のモビリティRWAのコアプロトコルリポジトリ。ドキュメント、アーキテクチャ、スマートコントラクト、プロトコル設計が含まれます。

Ridera-Rwa
⭐ 1,593 Solidity 👤 Ridera-Rwa User 🕐 更新日時 2025-12-15 📅 作成日 2025-11-24
13
shikijs/shiki-magic-move

Shiki によるスムーズなコードブロックのアニメーション

shikijs
⭐ 1,511 TypeScript 👤 shikijs Organization 🕐 更新日時 2026-05-19 📅 作成日 2024-02-22
14
securitybunker/databunker

顧客 PII/PHI/PCI/KYC 記録のためのセキュアボールト

securitybunker
⭐ 1,498 Go 👤 securitybunker Organization 🕐 更新日時 2026-11-20 📅 作成日 2019-12-08
15
lunasec-io/lunasec

LunaSec - Log4Shellまたはnode-ipcなどの脆弱性をプルリクエストとビルドで自動的に通知する依存関係セキュリティスキャナー。LunaTrace GitHubアプリで30秒以内に自身を保護してください: https://github.com/marketplace/lunatrace-by-lunasec/

lunasec-io
⭐ 1,461 TypeScript 👤 lunasec-io Organization 🕐 更新日時 2024-05-02 📅 作成日 2021-03-16
16
huggingface/swift-transformers

SwiftでtransformersライクなAPIを実装するためのSwiftパッケージ

huggingface
⭐ 1,366 Swift 👤 huggingface Organization 🕐 更新日時 2026-11-06 📅 作成日 2023-05-11
17
tensorflow/text

TensorFlowでテキストを一流の市民にする。

tensorflow
⭐ 1,299 C++ 👤 tensorflow Organization 🕐 更新日時 2026-11-19 📅 作成日 2019-05-29
18
RavenProject/Ravencoin

Ravencoin Core 統合/ステージングツリー

RavenProject
⭐ 1,122 C 👤 RavenProject Organization 🕐 更新日時 2026-08-18 📅 作成日 2017-07-09
19
mistralai/mistral-common

Mistralモデルの前処理のための公式推論ライブラリ

mistralai
⭐ 965 Python 👤 mistralai Organization 🕐 更新日時 2026-11-19 📅 作成日 2024-04-15
20
servo/rust-cssparser

CSS Syntax Level 3 の Rust 実装

servo
⭐ 875 Rust 👤 servo Organization 🕐 更新日時 2026-11-18 📅 作成日 2013-07-10
21
KennFalcon/elasticsearch-analysis-hanlp

Elasticsearch用HanLPアナライザー

KennFalcon
⭐ 854 Java 👤 KennFalcon User 🕐 更新日時 2024-07-12 📅 作成日 2017-03-04
22
explosion/spacy-streamlit

👑 Streamlit アプリケーションのための spaCy のビルディングブロックとビジュアライザー

explosion
⭐ 849 Python 👤 explosion Organization 🕐 更新日時 2024-07-29 📅 作成日 2020-06-23
23
nlp-uoregon/trankit

Trankitは、多言語自然言語処理のための軽量TransformerベースのPythonツールキットです。

nlp-uoregon
⭐ 795 Python 👤 nlp-uoregon User 🕐 更新日時 2025-07-22 📅 作成日 2021-01-08
24
angeloskath/php-nlp-tools

PHPの自然言語処理ツール

angeloskath
⭐ 762 PHP 👤 angeloskath User 🕐 更新日時 2024-07-22 📅 作成日 2012-08-22
25
cbaziotis/ekphrasis

Ekphrasisは、TwitterやFacebookなどのソーシャルネットワークからのテキストを対象としたテキスト処理ツールです。Ekphrasisは、2つの大規模コーパス(英語のWikipedia、Twitter - 3億3000万件の英語ツイート)からの単語統計を使用して、トークン化、単語正規化、単語分割(ハッシュタグの分割用)、スペル修正を実行します。

cbaziotis
⭐ 676 Python 👤 cbaziotis User 🕐 更新日時 2025-06-02 📅 作成日 2017-02-07
26
alasdairforsythe/tokenmonster

Python、Go、C++、Javascript向けの非貪欲サブワードトークナイザーと語彙トレーナー

alasdairforsythe
⭐ 626 Go 👤 alasdairforsythe User 🕐 更新日時 2026-07-10 📅 作成日 2023-05-12
27
SamuraiT/mecab-python3

:snake: mecab-python. 元のバージョンはここで見つけることができます: http://taku910.github.io/mecab/

SamuraiT
⭐ 579 C++ 👤 SamuraiT User 🕐 更新日時 2025-11-25 📅 作成日 2014-05-31
28
adobe/NLP-Cube

自然言語処理パイプライン - 文の分割、トークン化、レマタイズ、品詞タグ付けおよび依存解析

adobe
⭐ 561 HTML 👤 adobe Organization 🕐 更新日時 2024-11-03 📅 作成日 2018-03-13
29
cl-tohoku/bert-japanese

日本語テキストのためのBERTモデル。

cl-tohoku
⭐ 540 Python 👤 cl-tohoku Organization 🕐 更新日時 2024-03-23 📅 作成日 2019-11-14
30
xingchensong/S3Tokenizer

CosyVoiceで提案された監督付き意味的音声トークナイザー(S3Tokenizer)のリバースエンジニアリング

xingchensong
⭐ 536 Python 👤 xingchensong User 🕐 更新日時 2026-11-01 📅 作成日 2024-09-09
31
yooper/php-text-analysis

PHP Text Analysis は、PHP 言語を使用して情報検索 (IR) および自然言語処理 (NLP) タスクを実行するためのライブラリです

yooper
⭐ 531 PHP 👤 yooper User 🕐 更新日時 2024-12-28 📅 作成日 2012-05-21
32
lightninglabs/taproot-assets

Taproot Assets Protocol 仕様のための Go (golang) で書かれたレイヤー 1 デーモン

lightninglabs
⭐ 529 Go 👤 lightninglabs Organization 🕐 更新日時 2026-11-17 📅 作成日 2022-04-11
33
patrikzudel/PatrikZeros-ChatGPT-API-UI

ChatGPTと同じ体験のためにOpenAI APIキーを使用できる静的Webページ!

patrikzudel
⭐ 508 Svelte 👤 patrikzudel User 🕐 更新日時 2024-01-08 📅 作成日 2023-03-07

よくある質問

1

GitHubで最も人気のある#tokenizationリポジトリは何ですか?

GitHubで最も上位にランクインしているオープンソースの#tokenizationプロジェクトは、48,042個のスターを獲得しているshiyu-coder/Kronosです。Kronos:金融市場言語のための基盤モデル

2

#tokenizationリポジトリで最もよく使われているプログラミング言語は何ですか?

GitHubで上位にランクインしている#tokenizationプロジェクトでは、Python, TypeScript, PHP, Rustが最も一般的なプログラミング言語です。

3

#tokenizationリポジトリのランキングはどのように算出されていますか?

#tokenizationのタグが付いた33件のアクティブなオープンソースリポジトリ(スター500個以上)を追跡しています。合計スター数は183,037個で、リポジトリあたりの平均は5,546個です。ランキングはGitHub APIからのデータに基づいて毎日更新されます。