#tokenizer リポジトリ
#tokenizerのタグが付いた、GitHub上の29件のアクティブなオープンソースリポジトリをご覧ください。合計スター数は145,054個で、プロジェクトあたりの平均は5,001個です。このトピックをリードしているのは、108,745個のスターを獲得しているrasbt/LLMs-from-scratchです。
リポジトリ合計29件
最小限のメモリフットプリントでカスタムJSONおよびJSONC処理パイプラインを構築するためのストリームコンポーネントのマイクロライブラリです。Node.jsまたはWeb Streams上で、SAXにインスパイアされたトークンAPIを使用して、利用可能なメモリよりもはるかに大きなJSONを解析、フィルタリング、変換できます。
OpenAIのGPTモデル(gpt-5、gpt-o*、gpt-4oなど)向けの最速JavaScript BPEトークナイザーエンコーダーデコーダー。追加機能を備えたOpenAIのtiktokenのポート。
データラベリングは、テキストデータを処理およびラベリングするための専用ツールであり、簡潔で迅速なテキストラベリングプロセスと動的なアルゴリズムフィードバックを通じて、ユーザーがキーワードを迅速にラベリングすることをサポートし、アルゴリズムによって手動ラベリングのコストと時間を継続的に削減できます。データラベリングのプロセスは、まず手動ラベリングによって基礎を構築し、次に自動ラベリングが手動ラベリングをフィードバックし、最後に手動ラベリングで修正を行うことで、ラベリングの精度と効率を大幅に向上させます。データラベリングは、人員の職務管理のためにオープンソースのデジタル基盤に依存する必要があります。
Ekphrasisは、TwitterやFacebookなどのソーシャルネットワークからのテキストを対象としたテキスト処理ツールです。Ekphrasisは、2つの大規模コーパス(英語のWikipedia、Twitter - 3億3000万件の英語ツイート)からの単語統計を使用して、トークン化、単語正規化、単語分割(ハッシュタグの分割用)、スペル修正を実行します。
llama3 の推論ステップを段階的に実行し、コアコンセプトを把握し、プロセス導出をマスターし、コードを実装します。
よくある質問
GitHubで最も人気のある#tokenizerリポジトリは何ですか?
GitHubで最も上位にランクインしているオープンソースの#tokenizerプロジェクトは、108,745個のスターを獲得しているrasbt/LLMs-from-scratchです。PyTorchでChatGPTのようなLLMをゼロから段階的に実装する
#tokenizerリポジトリで最もよく使われているプログラミング言語は何ですか?
GitHubで上位にランクインしている#tokenizerプロジェクトでは、Python, TypeScript, JavaScript, C++が最も一般的なプログラミング言語です。
#tokenizerリポジトリのランキングはどのように算出されていますか?
#tokenizerのタグが付いた29件のアクティブなオープンソースリポジトリ(スター500個以上)を追跡しています。合計スター数は145,054個で、リポジトリあたりの平均は5,001個です。ランキングはGitHub APIからのデータに基づいて毎日更新されます。