#tokenization Dépôts
Découvrez 33 dépôts GitHub open source actifs associés à #tokenization, cumulant 183,037 étoiles au total (soit une moyenne de 5,546 étoiles par projet). Le projet en tête de ce thème est shiyu-coder/Kronos, avec 48,042 étoiles.
33 dépôts au total
🎒 Notation d'Objets Orientée Tokens (TOON) – sérialisation compacte et lisible par l'homme de données JSON pour les invites LLM. SDK TypeScript, CLI, benchmarks.
Bibliothèque de base pour un lexer qui peut être utilisé dans des analyseurs syntaxiques top-down à descente récursive.
Code minimal et propre pour l'algorithme Byte Pair Encoding (BPE) couramment utilisé dans la tokenisation LLM.
Accédez à une base de données de fréquences de mots, dans diverses langues naturelles.
Dépôt de protocole principal pour Ridera — Mobility RWA sur Base. Comprend la documentation, l'architecture, les contrats intelligents et la conception du protocole.
Coffre-fort Sécurisé pour les Enregistrements PII/PHI/PCI/KYC des Clients
LunaSec - Le scanner de sécurité des dépendances qui vous informe automatiquement des vulnérabilités telles que Log4Shell ou node-ipc dans vos Pull Requests et Builds. Protégez-vous en 30 secondes avec l'application LunaTrace pour GitHub : https://github.com/marketplace/lunatrace-by-lunasec/
Package Swift pour implémenter une API de type transformers en Swift
Bibliothèque d'inférence officielle pour le prétraitement des modèles Mistral
👑 Blocs de construction et visualiseurs spaCy pour les applications Streamlit
Trankit est une boîte à outils Python légère basée sur Transformer pour le traitement multilingue du langage naturel
Ekphrasis est un outil de traitement de texte, destiné aux textes provenant des réseaux sociaux, tels que Twitter ou Facebook. Ekphrasis effectue la tokenisation, la normalisation des mots, la segmentation des mots (pour diviser les hashtags) et la correction orthographique, en utilisant des statistiques de mots provenant de 2 grands corpus (Wikipedia anglaise, Twitter - 330 millions de tweets anglais).
Tokeniseur de sous-mots non gourmand et entraîneur de vocabulaire pour Python, Go, C++ et Javascript
:snake: mecab-python. Vous pouvez trouver la version originale ici : http://taku910.github.io/mecab/
Pipeline de traitement du langage naturel - Fractionnement des phrases, Tokenisation, Lemmatisation, Étiquetage des parties du discours et Analyse de dépendances
Ingénierie inverse du tokeniseur semantique de discours supervisé (S3Tokenizer) proposé dans CosyVoice
PHP Text Analysis est une bibliothèque pour effectuer des tâches de Récupération d'Information (IR) et de Traitement du Langage Naturel (NLP) en utilisant le langage PHP
Un démon de couche 1, pour la spécification du protocole Taproot Assets, écrit en Go (golang)
Page Web statique qui vous permet d'utiliser votre clé API OpenAI pour la même expérience qu'avec ChatGPT !
Foire aux questions
Quel est le dépôt #tokenization le plus populaire sur GitHub ?
Le projet #tokenization open source le mieux classé sur GitHub est shiyu-coder/Kronos, avec 48,042 étoiles. Kronos : Un modèle fondamental pour le langage des marchés financiers
Quels langages de programmation sont les plus utilisés dans les dépôts #tokenization ?
Parmi les projets #tokenization les mieux classés sur GitHub, les langages de programmation les plus courants sont Python, TypeScript, PHP, Rust.
Comment le classement des dépôts #tokenization est-il calculé ?
Nous suivons 33 dépôts open source actifs associés à #tokenization (500+ étoiles), totalisant 183,037 étoiles, avec une moyenne de 5,546 étoiles par dépôt. Les classements sont mis à jour quotidiennement à partir de l’API GitHub.