Git Stars Git Stars

#tokenization Repositories

Entdecke 33 aktive Open-Source-GitHub-Repositories, die mit #tokenization getaggt sind und insgesamt 183,037 Sterne gesammelt haben (durchschnittlich 5,546 Sterne pro Projekt). Spitzenreiter in diesem Themenbereich ist shiyu-coder/Kronos mit 48,042 Sternen.

33
Gesamtzahl der Repositories
183,037
Gesamtanzahl der Sterne
5,546
Durchschnittliche Sterne/Repo

Insgesamt 33 Repositories

1
shiyu-coder/Kronos

Kronos: Ein Basismodell für die Sprache der Finanzmärkte

shiyu-coder
⭐ 48,042 Python 👤 shiyu-coder User 🕐 Aktualisiert 2026-04-13 📅 Erstellt 2025-07-01
2
explosion/spaCy

💫 Industrielle Stärke Natural Language Processing (NLP) in Python

explosion
⭐ 34,082 Python 👤 explosion Organization 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2014-07-03
3
toon-format/toon

🎒 Token-Orientierte Objektnotation (TOON) – kompakte, menschenlesbare Serialisierung von JSON-Daten für LLM-Prompts. TypeScript SDK, CLI, Benchmarks.

toon-format
⭐ 25,642 TypeScript 👤 toon-format Organization 🕐 Aktualisiert 2026-11-11 📅 Erstellt 2025-10-22
4
openai/tiktoken

tiktoken ist ein schneller BPE-Tokenisierer für die Verwendung mit den Modellen von OpenAI.

openai
⭐ 19,698 Python 👤 openai Organization 🕐 Aktualisiert 2026-11-08 📅 Erstellt 2022-12-01
5
doctrine/lexer

Basisbibliothek für einen Lexer, der in Top-Down-, rekursiven Abstiegs-Parsers verwendet werden kann.

doctrine
⭐ 11,141 PHP 👤 doctrine Organization 🕐 Aktualisiert 2026-11-15 📅 Erstellt 2013-01-12
6
karpathy/minbpe

Minimaler, sauberer Code für den Byte Pair Encoding (BPE)-Algorithmus, der häufig bei der LLM-Tokenisierung verwendet wird.

karpathy
⭐ 10,241 Python 👤 karpathy User 🕐 Aktualisiert 2024-07-01 📅 Erstellt 2024-02-16
7
openai/harmony

Renderer für das Harmony-Antwortformat zur Verwendung mit gpt-oss

openai
⭐ 4,548 Rust 👤 openai Organization 🕐 Aktualisiert 2026-04-08 📅 Erstellt 2025-07-31
8
marcelroed/gigatoken

Tokenisierung von Sprachmodellen bei GB/s

marcelroed
⭐ 4,157 Rust 👤 marcelroed User 🕐 Aktualisiert 2026-11-02 📅 Erstellt 2025-11-10
9
AgentOps-AI/tokencost

Einfache Token-Preisschätzungen für über 400 LLMs. TokenOps.

AgentOps-AI
⭐ 2,007 Python 👤 AgentOps-AI Organization 🕐 Aktualisiert 2025-09-05 📅 Erstellt 2023-12-03
10
apple-aiml-research/ml-4m

4M: Massiv multimodales maskiertes Modellieren

apple-aiml-research
⭐ 1,814 Python 👤 apple-aiml-research Organization 🕐 Aktualisiert 2026-09-11 📅 Erstellt 2024-04-08
11
rspeer/wordfreq

Greifen Sie auf eine Datenbank mit Worthäufigkeiten in verschiedenen natürlichen Sprachen zu.

rspeer
⭐ 1,664 Python 👤 rspeer User 🕐 Aktualisiert 2025-01-04 📅 Erstellt 2013-10-28
12
Ridera-Rwa/Ridera-core

Zentrales Protokoll-Repository für Ridera — Mobility RWA auf Base. Enthält Dokumentation, Architektur, Smart Contracts und Protokolldesign.

Ridera-Rwa
⭐ 1,593 Solidity 👤 Ridera-Rwa User 🕐 Aktualisiert 2025-12-15 📅 Erstellt 2025-11-24
13
shikijs/shiki-magic-move

Geglättete animierte Codeblöcke mit Shiki

shikijs
⭐ 1,511 TypeScript 👤 shikijs Organization 🕐 Aktualisiert 2026-05-19 📅 Erstellt 2024-02-22
14
securitybunker/databunker

Sicherer Tresor für Kunden-PII/PHI/PCI/KYC-Aufzeichnungen

securitybunker
⭐ 1,498 Go 👤 securitybunker Organization 🕐 Aktualisiert 2026-11-20 📅 Erstellt 2019-12-08
15
lunasec-io/lunasec

LunaSec – Der Dependency Security Scanner, der Sie automatisch über Schwachstellen wie Log4Shell oder node-ipc in Ihren Pull Requests und Builds informiert. Schützen Sie sich in 30 Sekunden mit der LunaTrace GitHub App: https://github.com/marketplace/lunatrace-by-lunasec/

lunasec-io
⭐ 1,461 TypeScript 👤 lunasec-io Organization 🕐 Aktualisiert 2024-05-02 📅 Erstellt 2021-03-16
16
huggingface/swift-transformers

Swift-Paket zur Implementierung einer Transformer-ähnlichen API in Swift

huggingface
⭐ 1,366 Swift 👤 huggingface Organization 🕐 Aktualisiert 2026-11-06 📅 Erstellt 2023-05-11
17
tensorflow/text

Text zu einem Bürger erster Klasse in TensorFlow machen.

tensorflow
⭐ 1,299 C++ 👤 tensorflow Organization 🕐 Aktualisiert 2026-11-19 📅 Erstellt 2019-05-29
18
RavenProject/Ravencoin

Ravencoin Core Integration/Staging-Baum

RavenProject
⭐ 1,122 C 👤 RavenProject Organization 🕐 Aktualisiert 2026-08-18 📅 Erstellt 2017-07-09
19
mistralai/mistral-common

Offizielle Inferenzbibliothek für die Vorverarbeitung von Mistral-Modellen

mistralai
⭐ 965 Python 👤 mistralai Organization 🕐 Aktualisiert 2026-11-19 📅 Erstellt 2024-04-15
20
servo/rust-cssparser

Rust-Implementierung von CSS Syntax Level 3

servo
⭐ 875 Rust 👤 servo Organization 🕐 Aktualisiert 2026-11-18 📅 Erstellt 2013-07-10
21
KennFalcon/elasticsearch-analysis-hanlp

HanLP-Analysator für Elasticsearch

KennFalcon
⭐ 854 Java 👤 KennFalcon User 🕐 Aktualisiert 2024-07-12 📅 Erstellt 2017-03-04
22
explosion/spacy-streamlit

👑 Bausteine und Visualisierer von spaCy für Streamlit-Apps

explosion
⭐ 849 Python 👤 explosion Organization 🕐 Aktualisiert 2024-07-29 📅 Erstellt 2020-06-23
23
nlp-uoregon/trankit

Trankit ist ein leichtgewichtiges, auf Transformer basierendes Python-Toolkit für mehrsprachige Verarbeitung natürlicher Sprache

nlp-uoregon
⭐ 795 Python 👤 nlp-uoregon User 🕐 Aktualisiert 2025-07-22 📅 Erstellt 2021-01-08
24
angeloskath/php-nlp-tools

Werkzeuge zur Verarbeitung natürlicher Sprache in PHP

angeloskath
⭐ 762 PHP 👤 angeloskath User 🕐 Aktualisiert 2024-07-22 📅 Erstellt 2012-08-22
25
cbaziotis/ekphrasis

Ekphrasis ist ein Textverarbeitungstool, das auf Texte aus sozialen Netzwerken wie Twitter oder Facebook ausgerichtet ist. Ekphrasis führt Tokenisierung, Wortnormalisierung, Wortsegmentierung (zum Aufteilen von Hashtags) und Rechtschreibkorrektur durch, wobei Wortstatistiken aus 2 großen Korpora (englische Wikipedia, Twitter – 330 Millionen englische Tweets) verwendet werden.

cbaziotis
⭐ 676 Python 👤 cbaziotis User 🕐 Aktualisiert 2025-06-02 📅 Erstellt 2017-02-07
26
alasdairforsythe/tokenmonster

Nicht-gieriger Subword-Tokenizer und Vokabeltrainer für Python, Go, C++ und Javascript

alasdairforsythe
⭐ 626 Go 👤 alasdairforsythe User 🕐 Aktualisiert 2026-07-10 📅 Erstellt 2023-05-12
27
SamuraiT/mecab-python3

:snake: mecab-python. Die Originalversion finden Sie hier: http://taku910.github.io/mecab/

SamuraiT
⭐ 579 C++ 👤 SamuraiT User 🕐 Aktualisiert 2025-11-25 📅 Erstellt 2014-05-31
28
adobe/NLP-Cube

Natural Language Processing Pipeline - Satztrennung, Tokenisierung, Lemmatisierung, Part-of-Speech-Tagging und Dependency-Parsing

adobe
⭐ 561 HTML 👤 adobe Organization 🕐 Aktualisiert 2024-11-03 📅 Erstellt 2018-03-13
29
cl-tohoku/bert-japanese

BERT-Modelle für japanischen Text.

cl-tohoku
⭐ 540 Python 👤 cl-tohoku Organization 🕐 Aktualisiert 2024-03-23 📅 Erstellt 2019-11-14
30
xingchensong/S3Tokenizer

Reverse Engineering des überwachten semantischen Sprachtokenizers (S3Tokenizer), der in CosyVoice vorgeschlagen wurde

xingchensong
⭐ 536 Python 👤 xingchensong User 🕐 Aktualisiert 2026-11-01 📅 Erstellt 2024-09-09
31
yooper/php-text-analysis

PHP Text Analysis ist eine Bibliothek zur Durchführung von Information Retrieval (IR)- und Natural Language Processing (NLP)-Aufgaben mit der PHP-Sprache

yooper
⭐ 531 PHP 👤 yooper User 🕐 Aktualisiert 2024-12-28 📅 Erstellt 2012-05-21
32
lightninglabs/taproot-assets

Ein Layer-1-Daemon für die Taproot Assets Protocol-Spezifikation, geschrieben in Go (golang)

lightninglabs
⭐ 529 Go 👤 lightninglabs Organization 🕐 Aktualisiert 2026-11-17 📅 Erstellt 2022-04-11
33
patrikzudel/PatrikZeros-ChatGPT-API-UI

Statische Webseite, mit der Sie Ihren OpenAI API-Schlüssel für das gleiche Erlebnis wie mit ChatGPT verwenden können!

patrikzudel
⭐ 508 Svelte 👤 patrikzudel User 🕐 Aktualisiert 2024-01-08 📅 Erstellt 2023-03-07

Häufig gestellte Fragen

1

Welches ist das beliebteste #tokenization-Repository auf GitHub?

Das am höchsten eingestufte Open-Source-#tokenization-Projekt auf GitHub ist shiyu-coder/Kronos mit 48,042 Sternen. Kronos: Ein Basismodell für die Sprache der Finanzmärkte

2

Welche Programmiersprachen werden in #tokenization-Repositories am häufigsten verwendet?

Unter den am höchsten eingestuften #tokenization-Projekten auf GitHub sind Python, TypeScript, PHP, Rust die am häufigsten verwendeten Programmiersprachen.

3

Wie wird das Ranking der #tokenization-Repositories berechnet?

Wir verfolgen 33 aktive Open-Source-Repositories, die mit #tokenization getaggt sind (500+ Sterne), mit insgesamt 183,037 Sternen und durchschnittlich 5,546 Sternen pro Repository. Die Rankings werden täglich über die GitHub-API aktualisiert.