#tokenizer Repositories
Entdecke 29 aktive Open-Source-GitHub-Repositories, die mit #tokenizer getaggt sind und insgesamt 145,054 Sterne gesammelt haben (durchschnittlich 5,001 Sterne pro Projekt). Spitzenreiter in diesem Themenbereich ist rasbt/LLMs-from-scratch mit 108,745 Sternen.
Insgesamt 29 Repositories
Implementieren Sie Schritt für Schritt ein ChatGPT-ähnliches LLM in PyTorch von Grund auf neu
Eine kleine Bibliothek zur Konvertierung von tokenisiertem PHP-Quellcode in XML (und potenziell andere Formate)
Löst grundlegende russische NLP-Aufgaben, API für Natasha-Projekte auf niedrigerer Ebene
Eine Micro-Library aus Stream-Komponenten zum Aufbau benutzerdefinierter JSON- und JSONC-Verarbeitungspipelines mit minimalem Speicherbedarf – analysieren, filtern und transformieren Sie JSON, das weit größer als der verfügbare Arbeitsspeicher ist, mit einer SAX-inspirierten Token-API auf Node.js oder Web Streams.
Dies ist eine Python-Bibliothek für die koreanische natürliche Sprachverarbeitung. Sie bietet Funktionen für Wortextraktion / Tokenisierung / POS-Tagging / Vorverarbeitung.
SQLite fts5 Volltextsuche mit Unterstützung für Chinesisch und Pinyin | Eine SQLite3 fts5 Tokenizer, der Chinesisch und Pinyin unterstützt
Der schnellste JavaScript BPE Tokenizer Encoder Decoder für OpenAIs GPT-Modelle (gpt-5, gpt-o*, gpt-4o, etc.). Port von OpenAIs tiktoken mit zusätzlichen Funktionen.
Ein integriertes Korpus-Tool mit mehrsprachiger Unterstützung für das Studium von Sprache, Literatur und Übersetzung
Datennennung ist ein Tool, das speziell für die Verarbeitung und Nennung von Textdaten entwickelt wurde. Durch die Vereinfachung schneller Textnennungsprozesse und dynamisches Algorithmusfeedback unterstützt es Benutzer bei der schnellen Benennung von Schlüsselwörtern und kann durch Algorithmen die Kosten und den Zeitaufwand für manuelle Nennungen kontinuierlich reduzieren. Der Prozess der Datennennung beginnt mit manueller Nennung, um die Grundlage zu schaffen, dann wird die manuelle Nennung durch automatische Nennung „rückgespeist“, und schließlich wird die manuelle Nennung zur Korrektur verwendet, um die Genauigkeit und Effizienz der Nennung erheblich zu verbessern. Datennennung erfordert die Abhängigkeit von einer Open-Source-Digitalbasis zur Steuerung von Personalpositionen.
Ekphrasis ist ein Textverarbeitungstool, das auf Texte aus sozialen Netzwerken wie Twitter oder Facebook ausgerichtet ist. Ekphrasis führt Tokenisierung, Wortnormalisierung, Wortsegmentierung (zum Aufteilen von Hashtags) und Rechtschreibkorrektur durch, wobei Wortstatistiken aus 2 großen Korpora (englische Wikipedia, Twitter – 330 Millionen englische Tweets) verwendet werden.
Open Korean Text Processor - Ein Open-Source Koreanisch-Textverarbeitungsprogramm
Erreichen Sie den Llama3-Inferenzschritt für Schritt, erfassen Sie die Kernkonzepte, meistern Sie die Prozessableitung, implementieren Sie den Code.
Nicht-gieriger Subword-Tokenizer und Vokabeltrainer für Python, Go, C++ und Javascript
[NeurIPS 2025 Spotlight] Ein einheitlicher Tokenizer für visuelle Erzeugung und Verständnis
Ein Cython MeCab-Wrapper für schnelle, pythonic japanische Tokenisierung und morphologische Analyse.
Effizienter und optimierter Tokenizer-Engine für LLM-Inferenz-Serving
Häufig gestellte Fragen
Welches ist das beliebteste #tokenizer-Repository auf GitHub?
Das am höchsten eingestufte Open-Source-#tokenizer-Projekt auf GitHub ist rasbt/LLMs-from-scratch mit 108,745 Sternen. Implementieren Sie Schritt für Schritt ein ChatGPT-ähnliches LLM in PyTorch von Grund auf neu
Welche Programmiersprachen werden in #tokenizer-Repositories am häufigsten verwendet?
Unter den am höchsten eingestuften #tokenizer-Projekten auf GitHub sind Python, TypeScript, JavaScript, C++ die am häufigsten verwendeten Programmiersprachen.
Wie wird das Ranking der #tokenizer-Repositories berechnet?
Wir verfolgen 29 aktive Open-Source-Repositories, die mit #tokenizer getaggt sind (500+ Sterne), mit insgesamt 145,054 Sternen und durchschnittlich 5,001 Sternen pro Repository. Die Rankings werden täglich über die GitHub-API aktualisiert.