Git Stars Git Stars

#tokenizer Repositories

Entdecke 29 aktive Open-Source-GitHub-Repositories, die mit #tokenizer getaggt sind und insgesamt 145,054 Sterne gesammelt haben (durchschnittlich 5,001 Sterne pro Projekt). Spitzenreiter in diesem Themenbereich ist rasbt/LLMs-from-scratch mit 108,745 Sternen.

29
Gesamtzahl der Repositories
145,054
Gesamtanzahl der Sterne
5,001
Durchschnittliche Sterne/Repo

Insgesamt 29 Repositories

1
rasbt/LLMs-from-scratch

Implementieren Sie Schritt für Schritt ein ChatGPT-ähnliches LLM in PyTorch von Grund auf neu

rasbt
⭐ 108,745 Jupyter Notebook 👤 rasbt User 🕐 Aktualisiert 2026-11-20 📅 Erstellt 2023-07-23
2
theseer/tokenizer

Eine kleine Bibliothek zur Konvertierung von tokenisiertem PHP-Quellcode in XML (und potenziell andere Formate)

theseer
⭐ 5,190 PHP 👤 theseer User 🕐 Aktualisiert 2026-02-03 📅 Erstellt 2017-04-05
3
marcelroed/gigatoken

Tokenisierung von Sprachmodellen bei GB/s

marcelroed
⭐ 4,157 Rust 👤 marcelroed User 🕐 Aktualisiert 2026-11-02 📅 Erstellt 2025-11-10
4
andialbrecht/sqlparse

Ein nicht-validierender SQL-Parser-Modul für Python

andialbrecht
⭐ 4,023 Python 👤 andialbrecht User 🕐 Aktualisiert 2026-11-01 📅 Erstellt 2012-04-18
5
Chevrotain/chevrotain

Parser Building Toolkit für JavaScript

Chevrotain
⭐ 2,820 TypeScript 👤 Chevrotain Organization 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2015-04-15
6
dqbd/tiktokenizer

Online-Spielplatz für OpenAPI-Tokenisierer

dqbd
⭐ 1,605 TypeScript 👤 dqbd User 🕐 Aktualisiert 2025-04-24 📅 Erstellt 2023-03-02
7
roshan-research/hazm

Persische NLP-Toolkit

roshan-research
⭐ 1,435 Python 👤 roshan-research Organization 🕐 Aktualisiert 2026-04-01 📅 Erstellt 2013-10-29
8
natasha/natasha

Löst grundlegende russische NLP-Aufgaben, API für Natasha-Projekte auf niedrigerer Ebene

natasha
⭐ 1,364 Python 👤 natasha Organization 🕐 Aktualisiert 2026-10-14 📅 Erstellt 2016-08-03
9
datalust/superpower

Ein C#-Parser-Konstruktions-Toolkit mit hochwertiger Fehlermeldung

datalust
⭐ 1,345 C# 👤 datalust Organization 🕐 Aktualisiert 2026-05-20 📅 Erstellt 2016-09-01
10
uhop/stream-json

Eine Micro-Library aus Stream-Komponenten zum Aufbau benutzerdefinierter JSON- und JSONC-Verarbeitungspipelines mit minimalem Speicherbedarf – analysieren, filtern und transformieren Sie JSON, das weit größer als der verfügbare Arbeitsspeicher ist, mit einer SAX-inspirierten Token-API auf Node.js oder Web Streams.

uhop
⭐ 1,209 JavaScript 👤 uhop User 🕐 Aktualisiert 2026-11-20 📅 Erstellt 2013-08-11
11
lovit/soynlp

Dies ist eine Python-Bibliothek für die koreanische natürliche Sprachverarbeitung. Sie bietet Funktionen für Wortextraktion / Tokenisierung / POS-Tagging / Vorverarbeitung.

lovit
⭐ 996 Python 👤 lovit User 🕐 Aktualisiert 2026-10-04 📅 Erstellt 2017-05-13
12
ikawaha/kagome

Eigenständiger japanischer morphologischer Analysator, geschrieben in Rein-Go

ikawaha
⭐ 988 Go 👤 ikawaha User 🕐 Aktualisiert 2026-11-20 📅 Erstellt 2014-06-26
13
no-context/moo

Optimierter Tokenizer/Lexer-Generator! 🐄 Verwendet /y für Leistung. Muu.

no-context
⭐ 884 JavaScript 👤 no-context Organization 🕐 Aktualisiert 2026-02-27 📅 Erstellt 2017-03-10
14
wangfenjin/simple

SQLite fts5 Volltextsuche mit Unterstützung für Chinesisch und Pinyin | Eine SQLite3 fts5 Tokenizer, der Chinesisch und Pinyin unterstützt

wangfenjin
⭐ 877 C++ 👤 wangfenjin User 🕐 Aktualisiert 2026-05-17 📅 Erstellt 2020-03-03
15
niieani/gpt-tokenizer

Der schnellste JavaScript BPE Tokenizer Encoder Decoder für OpenAIs GPT-Modelle (gpt-5, gpt-o*, gpt-4o, etc.). Port von OpenAIs tiktoken mit zusätzlichen Funktionen.

niieani
⭐ 862 TypeScript 👤 niieani User 🕐 Aktualisiert 2026-11-10 📅 Erstellt 2023-03-22
16
BLKSerene/Wordless

Ein integriertes Korpus-Tool mit mehrsprachiger Unterstützung für das Studium von Sprache, Literatur und Übersetzung

BLKSerene
⭐ 762 Python 👤 BLKSerene User 🕐 Aktualisiert 2025-10-30 📅 Erstellt 2018-08-23
17
lindera/lindera

Eine mehrsprachige morphologische Analysbibliothek.

lindera
⭐ 708 Rust 👤 lindera Organization 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2020-01-22
18
risesoft-y9/Data-Labeling

Datennennung ist ein Tool, das speziell für die Verarbeitung und Nennung von Textdaten entwickelt wurde. Durch die Vereinfachung schneller Textnennungsprozesse und dynamisches Algorithmusfeedback unterstützt es Benutzer bei der schnellen Benennung von Schlüsselwörtern und kann durch Algorithmen die Kosten und den Zeitaufwand für manuelle Nennungen kontinuierlich reduzieren. Der Prozess der Datennennung beginnt mit manueller Nennung, um die Grundlage zu schaffen, dann wird die manuelle Nennung durch automatische Nennung „rückgespeist“, und schließlich wird die manuelle Nennung zur Korrektur verwendet, um die Genauigkeit und Effizienz der Nennung erheblich zu verbessern. Datennennung erfordert die Abhängigkeit von einer Open-Source-Digitalbasis zur Steuerung von Personalpositionen.

risesoft-y9
⭐ 695 Java 👤 risesoft-y9 Organization 🕐 Aktualisiert 2025-06-23 📅 Erstellt 2024-08-26
19
cbaziotis/ekphrasis

Ekphrasis ist ein Textverarbeitungstool, das auf Texte aus sozialen Netzwerken wie Twitter oder Facebook ausgerichtet ist. Ekphrasis führt Tokenisierung, Wortnormalisierung, Wortsegmentierung (zum Aufteilen von Hashtags) und Rechtschreibkorrektur durch, wobei Wortstatistiken aus 2 großen Korpora (englische Wikipedia, Twitter – 330 Millionen englische Tweets) verwendet werden.

cbaziotis
⭐ 676 Python 👤 cbaziotis User 🕐 Aktualisiert 2025-06-02 📅 Erstellt 2017-02-07
20
open-korean-text/open-korean-text

Open Korean Text Processor - Ein Open-Source Koreanisch-Textverarbeitungsprogramm

open-korean-text
⭐ 651 Scala 👤 open-korean-text Organization 🕐 Aktualisiert 2024-03-12 📅 Erstellt 2017-01-24
21
jflex-de/jflex

Der schnelle Scanner-Generator für Java™ mit vollständiger Unicode-Unterstützung

jflex-de
⭐ 637 Java 👤 jflex-de Organization 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2015-02-15
22
therealoliver/Deepdive-llama3-from-scratch

Erreichen Sie den Llama3-Inferenzschritt für Schritt, erfassen Sie die Kernkonzepte, meistern Sie die Prozessableitung, implementieren Sie den Code.

therealoliver
⭐ 629 Jupyter Notebook 👤 therealoliver User 🕐 Aktualisiert 2025-02-24 📅 Erstellt 2025-02-19
23
alasdairforsythe/tokenmonster

Nicht-gieriger Subword-Tokenizer und Vokabeltrainer für Python, Go, C++ und Javascript

alasdairforsythe
⭐ 626 Go 👤 alasdairforsythe User 🕐 Aktualisiert 2026-07-10 📅 Erstellt 2023-05-12
24
glayzzle/php-parser

PHP-Parser für NodeJS – AST oder Tokens extrahieren

glayzzle
⭐ 564 JavaScript 👤 glayzzle Organization 🕐 Aktualisiert 2026-10-30 📅 Erstellt 2014-12-07
25
lydell/js-tokens

Winziger JavaScript-Tokenizer.

lydell
⭐ 557 JavaScript 👤 lydell User 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2014-03-08
26
FoundationVision/UniTok

[NeurIPS 2025 Spotlight] Ein einheitlicher Tokenizer für visuelle Erzeugung und Verständnis

FoundationVision
⭐ 537 Python 👤 FoundationVision Organization 🕐 Aktualisiert 2025-11-14 📅 Erstellt 2025-02-27
27
polm/fugashi

Ein Cython MeCab-Wrapper für schnelle, pythonic japanische Tokenisierung und morphologische Analyse.

polm
⭐ 536 C++ 👤 polm User 🕐 Aktualisiert 2025-10-24 📅 Erstellt 2019-10-14
28
leodevbro/vscode-blockman

VSCode-Erweiterung zum Hervorheben verschachtelter Codeblöcke

leodevbro
⭐ 514 TypeScript 👤 leodevbro User 🕐 Aktualisiert 2026-11-07 📅 Erstellt 2021-05-12
29
NLPOptimize/flash-tokenizer

Effizienter und optimierter Tokenizer-Engine für LLM-Inferenz-Serving

NLPOptimize
⭐ 509 C++ 👤 NLPOptimize Organization 🕐 Aktualisiert 2026-02-02 📅 Erstellt 2025-03-09

Häufig gestellte Fragen

1

Welches ist das beliebteste #tokenizer-Repository auf GitHub?

Das am höchsten eingestufte Open-Source-#tokenizer-Projekt auf GitHub ist rasbt/LLMs-from-scratch mit 108,745 Sternen. Implementieren Sie Schritt für Schritt ein ChatGPT-ähnliches LLM in PyTorch von Grund auf neu

2

Welche Programmiersprachen werden in #tokenizer-Repositories am häufigsten verwendet?

Unter den am höchsten eingestuften #tokenizer-Projekten auf GitHub sind Python, TypeScript, JavaScript, C++ die am häufigsten verwendeten Programmiersprachen.

3

Wie wird das Ranking der #tokenizer-Repositories berechnet?

Wir verfolgen 29 aktive Open-Source-Repositories, die mit #tokenizer getaggt sind (500+ Sterne), mit insgesamt 145,054 Sternen und durchschnittlich 5,001 Sternen pro Repository. Die Rankings werden täglich über die GitHub-API aktualisiert.