Git Stars Git Stars

#tokenization Dépôts

Découvrez 33 dépôts GitHub open source actifs associés à #tokenization, cumulant 183,037 étoiles au total (soit une moyenne de 5,546 étoiles par projet). Le projet en tête de ce thème est shiyu-coder/Kronos, avec 48,042 étoiles.

33
Total des Dépôts
183,037
Nombre total d'étoiles
5,546
Moyenne d'Étoiles/Dépôt
1
shiyu-coder/Kronos

Kronos : Un modèle fondamental pour le langage des marchés financiers

shiyu-coder
⭐ 48,042 Python 👤 shiyu-coder User 🕐 Mis à jour 2026-04-13 📅 Créé 2025-07-01
2
explosion/spaCy

💫 Traitement du langage naturel (NLP) de niveau industriel en Python

explosion
⭐ 34,082 Python 👤 explosion Organization 🕐 Mis à jour 2026-11-21 📅 Créé 2014-07-03
3
toon-format/toon

🎒 Notation d'Objets Orientée Tokens (TOON) – sérialisation compacte et lisible par l'homme de données JSON pour les invites LLM. SDK TypeScript, CLI, benchmarks.

toon-format
⭐ 25,642 TypeScript 👤 toon-format Organization 🕐 Mis à jour 2026-11-11 📅 Créé 2025-10-22
4
openai/tiktoken

tiktoken est un tokenizer BPE rapide à utiliser avec les modèles d'OpenAI.

openai
⭐ 19,698 Python 👤 openai Organization 🕐 Mis à jour 2026-11-08 📅 Créé 2022-12-01
5
doctrine/lexer

Bibliothèque de base pour un lexer qui peut être utilisé dans des analyseurs syntaxiques top-down à descente récursive.

doctrine
⭐ 11,141 PHP 👤 doctrine Organization 🕐 Mis à jour 2026-11-15 📅 Créé 2013-01-12
6
karpathy/minbpe

Code minimal et propre pour l'algorithme Byte Pair Encoding (BPE) couramment utilisé dans la tokenisation LLM.

karpathy
⭐ 10,241 Python 👤 karpathy User 🕐 Mis à jour 2024-07-01 📅 Créé 2024-02-16
7
openai/harmony

Rendu pour le format de réponse harmony à utiliser avec gpt-oss

openai
⭐ 4,548 Rust 👤 openai Organization 🕐 Mis à jour 2026-04-08 📅 Créé 2025-07-31
8
marcelroed/gigatoken

Tokenisation de modèles de langage à Go/s

marcelroed
⭐ 4,157 Rust 👤 marcelroed User 🕐 Mis à jour 2026-11-02 📅 Créé 2025-11-10
9
AgentOps-AI/tokencost

Estimations simples du prix des tokens pour plus de 400 LLM. TokenOps.

AgentOps-AI
⭐ 2,007 Python 👤 AgentOps-AI Organization 🕐 Mis à jour 2025-09-05 📅 Créé 2023-12-03
10
apple-aiml-research/ml-4m

4M : Modélisation masquée massivement multimodale

apple-aiml-research
⭐ 1,814 Python 👤 apple-aiml-research Organization 🕐 Mis à jour 2026-09-11 📅 Créé 2024-04-08
11
rspeer/wordfreq

Accédez à une base de données de fréquences de mots, dans diverses langues naturelles.

rspeer
⭐ 1,664 Python 👤 rspeer User 🕐 Mis à jour 2025-01-04 📅 Créé 2013-10-28
12
Ridera-Rwa/Ridera-core

Dépôt de protocole principal pour Ridera — Mobility RWA sur Base. Comprend la documentation, l'architecture, les contrats intelligents et la conception du protocole.

Ridera-Rwa
⭐ 1,593 Solidity 👤 Ridera-Rwa User 🕐 Mis à jour 2025-12-15 📅 Créé 2025-11-24
13
shikijs/shiki-magic-move

Blocs de code animés de manière fluide avec Shiki

shikijs
⭐ 1,511 TypeScript 👤 shikijs Organization 🕐 Mis à jour 2026-05-19 📅 Créé 2024-02-22
14
securitybunker/databunker

Coffre-fort Sécurisé pour les Enregistrements PII/PHI/PCI/KYC des Clients

securitybunker
⭐ 1,498 Go 👤 securitybunker Organization 🕐 Mis à jour 2026-11-20 📅 Créé 2019-12-08
15
lunasec-io/lunasec

LunaSec - Le scanner de sécurité des dépendances qui vous informe automatiquement des vulnérabilités telles que Log4Shell ou node-ipc dans vos Pull Requests et Builds. Protégez-vous en 30 secondes avec l'application LunaTrace pour GitHub : https://github.com/marketplace/lunatrace-by-lunasec/

lunasec-io
⭐ 1,461 TypeScript 👤 lunasec-io Organization 🕐 Mis à jour 2024-05-02 📅 Créé 2021-03-16
16
huggingface/swift-transformers

Package Swift pour implémenter une API de type transformers en Swift

huggingface
⭐ 1,366 Swift 👤 huggingface Organization 🕐 Mis à jour 2026-11-06 📅 Créé 2023-05-11
17
tensorflow/text

Faire du texte un citoyen de première classe dans TensorFlow.

tensorflow
⭐ 1,299 C++ 👤 tensorflow Organization 🕐 Mis à jour 2026-11-19 📅 Créé 2019-05-29
18
RavenProject/Ravencoin

Arbre d'intégration/staging de Ravencoin Core

RavenProject
⭐ 1,122 C 👤 RavenProject Organization 🕐 Mis à jour 2026-08-18 📅 Créé 2017-07-09
19
mistralai/mistral-common

Bibliothèque d'inférence officielle pour le prétraitement des modèles Mistral

mistralai
⭐ 965 Python 👤 mistralai Organization 🕐 Mis à jour 2026-11-19 📅 Créé 2024-04-15
20
servo/rust-cssparser

Implémentation Rust de la syntaxe CSS niveau 3

servo
⭐ 875 Rust 👤 servo Organization 🕐 Mis à jour 2026-11-18 📅 Créé 2013-07-10
21
KennFalcon/elasticsearch-analysis-hanlp

Analyseur HanLP pour Elasticsearch

KennFalcon
⭐ 854 Java 👤 KennFalcon User 🕐 Mis à jour 2024-07-12 📅 Créé 2017-03-04
22
explosion/spacy-streamlit

👑 Blocs de construction et visualiseurs spaCy pour les applications Streamlit

explosion
⭐ 849 Python 👤 explosion Organization 🕐 Mis à jour 2024-07-29 📅 Créé 2020-06-23
23
nlp-uoregon/trankit

Trankit est une boîte à outils Python légère basée sur Transformer pour le traitement multilingue du langage naturel

nlp-uoregon
⭐ 795 Python 👤 nlp-uoregon User 🕐 Mis à jour 2025-07-22 📅 Créé 2021-01-08
24
angeloskath/php-nlp-tools

Outils de Traitement du Langage Naturel en PHP

angeloskath
⭐ 762 PHP 👤 angeloskath User 🕐 Mis à jour 2024-07-22 📅 Créé 2012-08-22
25
cbaziotis/ekphrasis

Ekphrasis est un outil de traitement de texte, destiné aux textes provenant des réseaux sociaux, tels que Twitter ou Facebook. Ekphrasis effectue la tokenisation, la normalisation des mots, la segmentation des mots (pour diviser les hashtags) et la correction orthographique, en utilisant des statistiques de mots provenant de 2 grands corpus (Wikipedia anglaise, Twitter - 330 millions de tweets anglais).

cbaziotis
⭐ 676 Python 👤 cbaziotis User 🕐 Mis à jour 2025-06-02 📅 Créé 2017-02-07
26
alasdairforsythe/tokenmonster

Tokeniseur de sous-mots non gourmand et entraîneur de vocabulaire pour Python, Go, C++ et Javascript

alasdairforsythe
⭐ 626 Go 👤 alasdairforsythe User 🕐 Mis à jour 2026-07-10 📅 Créé 2023-05-12
27
SamuraiT/mecab-python3

:snake: mecab-python. Vous pouvez trouver la version originale ici : http://taku910.github.io/mecab/

SamuraiT
⭐ 579 C++ 👤 SamuraiT User 🕐 Mis à jour 2025-11-25 📅 Créé 2014-05-31
28
adobe/NLP-Cube

Pipeline de traitement du langage naturel - Fractionnement des phrases, Tokenisation, Lemmatisation, Étiquetage des parties du discours et Analyse de dépendances

adobe
⭐ 561 HTML 👤 adobe Organization 🕐 Mis à jour 2024-11-03 📅 Créé 2018-03-13
29
cl-tohoku/bert-japanese

Modèles BERT pour texte japonais.

cl-tohoku
⭐ 540 Python 👤 cl-tohoku Organization 🕐 Mis à jour 2024-03-23 📅 Créé 2019-11-14
30
xingchensong/S3Tokenizer

Ingénierie inverse du tokeniseur semantique de discours supervisé (S3Tokenizer) proposé dans CosyVoice

xingchensong
⭐ 536 Python 👤 xingchensong User 🕐 Mis à jour 2026-11-01 📅 Créé 2024-09-09
31
yooper/php-text-analysis

PHP Text Analysis est une bibliothèque pour effectuer des tâches de Récupération d'Information (IR) et de Traitement du Langage Naturel (NLP) en utilisant le langage PHP

yooper
⭐ 531 PHP 👤 yooper User 🕐 Mis à jour 2024-12-28 📅 Créé 2012-05-21
32
lightninglabs/taproot-assets

Un démon de couche 1, pour la spécification du protocole Taproot Assets, écrit en Go (golang)

lightninglabs
⭐ 529 Go 👤 lightninglabs Organization 🕐 Mis à jour 2026-11-17 📅 Créé 2022-04-11
33
patrikzudel/PatrikZeros-ChatGPT-API-UI

Page Web statique qui vous permet d'utiliser votre clé API OpenAI pour la même expérience qu'avec ChatGPT !

patrikzudel
⭐ 508 Svelte 👤 patrikzudel User 🕐 Mis à jour 2024-01-08 📅 Créé 2023-03-07

Foire aux questions

1

Quel est le dépôt #tokenization le plus populaire sur GitHub ?

Le projet #tokenization open source le mieux classé sur GitHub est shiyu-coder/Kronos, avec 48,042 étoiles. Kronos : Un modèle fondamental pour le langage des marchés financiers

2

Quels langages de programmation sont les plus utilisés dans les dépôts #tokenization ?

Parmi les projets #tokenization les mieux classés sur GitHub, les langages de programmation les plus courants sont Python, TypeScript, PHP, Rust.

3

Comment le classement des dépôts #tokenization est-il calculé ?

Nous suivons 33 dépôts open source actifs associés à #tokenization (500+ étoiles), totalisant 183,037 étoiles, avec une moyenne de 5,546 étoiles par dépôt. Les classements sont mis à jour quotidiennement à partir de l’API GitHub.