#tokenization リポジトリ
#tokenizationのタグが付いた、GitHub上の33件のアクティブなオープンソースリポジトリをご覧ください。合計スター数は183,037個で、プロジェクトあたりの平均は5,546個です。このトピックをリードしているのは、48,042個のスターを獲得しているshiyu-coder/Kronosです。
リポジトリ合計33件
🎒 トークン指向オブジェクト表記法(TOON) – LLMプロンプト向けのコンパクトで人間が読めるJSONデータのシリアル化。TypeScript SDK、CLI、ベンチマーク。
Ridera — Base上のモビリティRWAのコアプロトコルリポジトリ。ドキュメント、アーキテクチャ、スマートコントラクト、プロトコル設計が含まれます。
LunaSec - Log4Shellまたはnode-ipcなどの脆弱性をプルリクエストとビルドで自動的に通知する依存関係セキュリティスキャナー。LunaTrace GitHubアプリで30秒以内に自身を保護してください: https://github.com/marketplace/lunatrace-by-lunasec/
Ekphrasisは、TwitterやFacebookなどのソーシャルネットワークからのテキストを対象としたテキスト処理ツールです。Ekphrasisは、2つの大規模コーパス(英語のWikipedia、Twitter - 3億3000万件の英語ツイート)からの単語統計を使用して、トークン化、単語正規化、単語分割(ハッシュタグの分割用)、スペル修正を実行します。
:snake: mecab-python. 元のバージョンはここで見つけることができます: http://taku910.github.io/mecab/
PHP Text Analysis は、PHP 言語を使用して情報検索 (IR) および自然言語処理 (NLP) タスクを実行するためのライブラリです
よくある質問
GitHubで最も人気のある#tokenizationリポジトリは何ですか?
GitHubで最も上位にランクインしているオープンソースの#tokenizationプロジェクトは、48,042個のスターを獲得しているshiyu-coder/Kronosです。Kronos:金融市場言語のための基盤モデル
#tokenizationリポジトリで最もよく使われているプログラミング言語は何ですか?
GitHubで上位にランクインしている#tokenizationプロジェクトでは、Python, TypeScript, PHP, Rustが最も一般的なプログラミング言語です。
#tokenizationリポジトリのランキングはどのように算出されていますか?
#tokenizationのタグが付いた33件のアクティブなオープンソースリポジトリ(スター500個以上)を追跡しています。合計スター数は183,037個で、リポジトリあたりの平均は5,546個です。ランキングはGitHub APIからのデータに基づいて毎日更新されます。