#tokenization Repositories
Entdecke 33 aktive Open-Source-GitHub-Repositories, die mit #tokenization getaggt sind und insgesamt 183,037 Sterne gesammelt haben (durchschnittlich 5,546 Sterne pro Projekt). Spitzenreiter in diesem Themenbereich ist shiyu-coder/Kronos mit 48,042 Sternen.
Insgesamt 33 Repositories
🎒 Token-Orientierte Objektnotation (TOON) – kompakte, menschenlesbare Serialisierung von JSON-Daten für LLM-Prompts. TypeScript SDK, CLI, Benchmarks.
tiktoken ist ein schneller BPE-Tokenisierer für die Verwendung mit den Modellen von OpenAI.
Basisbibliothek für einen Lexer, der in Top-Down-, rekursiven Abstiegs-Parsers verwendet werden kann.
Minimaler, sauberer Code für den Byte Pair Encoding (BPE)-Algorithmus, der häufig bei der LLM-Tokenisierung verwendet wird.
Greifen Sie auf eine Datenbank mit Worthäufigkeiten in verschiedenen natürlichen Sprachen zu.
Zentrales Protokoll-Repository für Ridera — Mobility RWA auf Base. Enthält Dokumentation, Architektur, Smart Contracts und Protokolldesign.
LunaSec – Der Dependency Security Scanner, der Sie automatisch über Schwachstellen wie Log4Shell oder node-ipc in Ihren Pull Requests und Builds informiert. Schützen Sie sich in 30 Sekunden mit der LunaTrace GitHub App: https://github.com/marketplace/lunatrace-by-lunasec/
Swift-Paket zur Implementierung einer Transformer-ähnlichen API in Swift
Offizielle Inferenzbibliothek für die Vorverarbeitung von Mistral-Modellen
Trankit ist ein leichtgewichtiges, auf Transformer basierendes Python-Toolkit für mehrsprachige Verarbeitung natürlicher Sprache
Ekphrasis ist ein Textverarbeitungstool, das auf Texte aus sozialen Netzwerken wie Twitter oder Facebook ausgerichtet ist. Ekphrasis führt Tokenisierung, Wortnormalisierung, Wortsegmentierung (zum Aufteilen von Hashtags) und Rechtschreibkorrektur durch, wobei Wortstatistiken aus 2 großen Korpora (englische Wikipedia, Twitter – 330 Millionen englische Tweets) verwendet werden.
Nicht-gieriger Subword-Tokenizer und Vokabeltrainer für Python, Go, C++ und Javascript
:snake: mecab-python. Die Originalversion finden Sie hier: http://taku910.github.io/mecab/
Natural Language Processing Pipeline - Satztrennung, Tokenisierung, Lemmatisierung, Part-of-Speech-Tagging und Dependency-Parsing
Reverse Engineering des überwachten semantischen Sprachtokenizers (S3Tokenizer), der in CosyVoice vorgeschlagen wurde
PHP Text Analysis ist eine Bibliothek zur Durchführung von Information Retrieval (IR)- und Natural Language Processing (NLP)-Aufgaben mit der PHP-Sprache
Ein Layer-1-Daemon für die Taproot Assets Protocol-Spezifikation, geschrieben in Go (golang)
Statische Webseite, mit der Sie Ihren OpenAI API-Schlüssel für das gleiche Erlebnis wie mit ChatGPT verwenden können!
Häufig gestellte Fragen
Welches ist das beliebteste #tokenization-Repository auf GitHub?
Das am höchsten eingestufte Open-Source-#tokenization-Projekt auf GitHub ist shiyu-coder/Kronos mit 48,042 Sternen. Kronos: Ein Basismodell für die Sprache der Finanzmärkte
Welche Programmiersprachen werden in #tokenization-Repositories am häufigsten verwendet?
Unter den am höchsten eingestuften #tokenization-Projekten auf GitHub sind Python, TypeScript, PHP, Rust die am häufigsten verwendeten Programmiersprachen.
Wie wird das Ranking der #tokenization-Repositories berechnet?
Wir verfolgen 33 aktive Open-Source-Repositories, die mit #tokenization getaggt sind (500+ Sterne), mit insgesamt 183,037 Sternen und durchschnittlich 5,546 Sternen pro Repository. Die Rankings werden täglich über die GitHub-API aktualisiert.