Git Stars Git Stars

#tokenizer Dépôts

Découvrez 29 dépôts GitHub open source actifs associés à #tokenizer, cumulant 145,054 étoiles au total (soit une moyenne de 5,001 étoiles par projet). Le projet en tête de ce thème est rasbt/LLMs-from-scratch, avec 108,745 étoiles.

29
Total des Dépôts
145,054
Nombre total d'étoiles
5,001
Moyenne d'Étoiles/Dépôt
1
rasbt/LLMs-from-scratch

Implémentez à partir de zéro un LLM de type ChatGPT dans PyTorch, étape par étape

rasbt
⭐ 108,745 Jupyter Notebook 👤 rasbt User 🕐 Mis à jour 2026-11-20 📅 Créé 2023-07-23
2
theseer/tokenizer

Une petite bibliothèque pour convertir du code source PHP tokenisé en XML (et potentiellement d'autres formats)

theseer
⭐ 5,190 PHP 👤 theseer User 🕐 Mis à jour 2026-02-03 📅 Créé 2017-04-05
3
marcelroed/gigatoken

Tokenisation de modèles de langage à Go/s

marcelroed
⭐ 4,157 Rust 👤 marcelroed User 🕐 Mis à jour 2026-11-02 📅 Créé 2025-11-10
4
andialbrecht/sqlparse

Un module d'analyseur SQL non validant pour Python

andialbrecht
⭐ 4,023 Python 👤 andialbrecht User 🕐 Mis à jour 2026-11-01 📅 Créé 2012-04-18
5
Chevrotain/chevrotain

Kit d'outils pour la construction de parseurs pour JavaScript

Chevrotain
⭐ 2,820 TypeScript 👤 Chevrotain Organization 🕐 Mis à jour 2026-11-21 📅 Créé 2015-04-15
6
dqbd/tiktokenizer

Espace de jeu en ligne pour les tokeniseurs OpenAPI

dqbd
⭐ 1,605 TypeScript 👤 dqbd User 🕐 Mis à jour 2025-04-24 📅 Créé 2023-03-02
7
roshan-research/hazm

Boîte à outils NLP persane

roshan-research
⭐ 1,435 Python 👤 roshan-research Organization 🕐 Mis à jour 2026-04-01 📅 Créé 2013-10-29
8
natasha/natasha

Résout les tâches NLP russes de base, API pour les projets Natasha de niveau inférieur

natasha
⭐ 1,364 Python 👤 natasha Organization 🕐 Mis à jour 2026-10-14 📅 Créé 2016-08-03
9
datalust/superpower

Un kit d'outils de construction de parseur C# avec rapport d'erreurs de haute qualité

datalust
⭐ 1,345 C# 👤 datalust Organization 🕐 Mis à jour 2026-05-20 📅 Créé 2016-09-01
10
uhop/stream-json

Une micro-bibliothèque de composants de flux pour construire des pipelines de traitement JSON et JSONC personnalisés avec une empreinte mémoire minimale — analysez, filtrez et transformez des fichiers JSON bien plus volumineux que la mémoire disponible grâce à une API de jetons inspirée de SAX, sur Node.js ou Web Streams.

uhop
⭐ 1,209 JavaScript 👤 uhop User 🕐 Mis à jour 2026-11-20 📅 Créé 2013-08-11
11
lovit/soynlp

Ceci est une bibliothèque Python pour le traitement automatique du langage naturel coréen. Elle fournit des fonctions pour l'extraction de mots / tokeniseur / étiquetage POS / prétraitement.

lovit
⭐ 996 Python 👤 lovit User 🕐 Mis à jour 2026-10-04 📅 Créé 2017-05-13
12
ikawaha/kagome

Analyseur morphologique japonais autonome écrit en pur Go

ikawaha
⭐ 988 Go 👤 ikawaha User 🕐 Mis à jour 2026-11-20 📅 Créé 2014-06-26
13
no-context/moo

Générateur de tokenizer/lexer optimisé ! 🐄 Utilise /y pour les performances. Meuh.

no-context
⭐ 884 JavaScript 👤 no-context Organization 🕐 Mis à jour 2026-02-27 📅 Créé 2017-03-10
14
wangfenjin/simple

Recherche plein texte SQLite fts5 prenant en charge le chinois et le pinyin | Un tokenizer SQLite3 fts5 qui prend en charge le chinois et le pinyin

wangfenjin
⭐ 877 C++ 👤 wangfenjin User 🕐 Mis à jour 2026-05-17 📅 Créé 2020-03-03
15
niieani/gpt-tokenizer

L'encodeur-décodeur tokenizeur BPE JavaScript le plus rapide pour les modèles GPT d'OpenAI (gpt-5, gpt-o*, gpt-4o, etc.). Port de tiktoken d'OpenAI avec des fonctionnalités supplémentaires.

niieani
⭐ 862 TypeScript 👤 niieani User 🕐 Mis à jour 2026-11-10 📅 Créé 2023-03-22
16
BLKSerene/Wordless

Un outil de corpus intégré avec support multilingue pour l'étude de la langue, de la littérature et de la traduction

BLKSerene
⭐ 762 Python 👤 BLKSerene User 🕐 Mis à jour 2025-10-30 📅 Créé 2018-08-23
17
lindera/lindera

Une bibliothèque d'analyse morphologique multilingue.

lindera
⭐ 708 Rust 👤 lindera Organization 🕐 Mis à jour 2026-11-21 📅 Créé 2020-01-22
18
risesoft-y9/Data-Labeling

L'étiquetage de données est un outil spécialement conçu pour le traitement et l'étiquetage des données textuelles. En simplifiant les processus rapides d'étiquetage de texte et le retour d'information algorithmique dynamique, il aide les utilisateurs à étiqueter rapidement les mots clés et peut réduire continuellement les coûts et le temps d'étiquetage manuel grâce à des algorithmes. Le processus d'étiquetage des données commence d'abord par un étiquetage manuel pour construire les bases, puis l'étiquetage automatique rétroagit sur l'étiquetage manuel, et enfin l'étiquetage manuel est utilisé pour la correction, afin d'améliorer considérablement la précision et l'efficacité de l'étiquetage. L'étiquetage des données nécessite de s'appuyer sur une base numérique open source pour le contrôle des postes du personnel.

risesoft-y9
⭐ 695 Java 👤 risesoft-y9 Organization 🕐 Mis à jour 2025-06-23 📅 Créé 2024-08-26
19
cbaziotis/ekphrasis

Ekphrasis est un outil de traitement de texte, destiné aux textes provenant des réseaux sociaux, tels que Twitter ou Facebook. Ekphrasis effectue la tokenisation, la normalisation des mots, la segmentation des mots (pour diviser les hashtags) et la correction orthographique, en utilisant des statistiques de mots provenant de 2 grands corpus (Wikipedia anglaise, Twitter - 330 millions de tweets anglais).

cbaziotis
⭐ 676 Python 👤 cbaziotis User 🕐 Mis à jour 2025-06-02 📅 Créé 2017-02-07
20
open-korean-text/open-korean-text

Open Korean Text Processor - Un processeur de texte coréen open-source

open-korean-text
⭐ 651 Scala 👤 open-korean-text Organization 🕐 Mis à jour 2024-03-12 📅 Créé 2017-01-24
21
jflex-de/jflex

Le générateur d'analyseur rapide pour Java™ avec prise en charge complète d'Unicode

jflex-de
⭐ 637 Java 👤 jflex-de Organization 🕐 Mis à jour 2026-11-21 📅 Créé 2015-02-15
22
therealoliver/Deepdive-llama3-from-scratch

Réalisez l'étape d'inférence de llama3 étape par étape, saisissez les concepts clés, maîtrisez la dérivation du processus, implémentez le code.

therealoliver
⭐ 629 Jupyter Notebook 👤 therealoliver User 🕐 Mis à jour 2025-02-24 📅 Créé 2025-02-19
23
alasdairforsythe/tokenmonster

Tokeniseur de sous-mots non gourmand et entraîneur de vocabulaire pour Python, Go, C++ et Javascript

alasdairforsythe
⭐ 626 Go 👤 alasdairforsythe User 🕐 Mis à jour 2026-07-10 📅 Créé 2023-05-12
24
glayzzle/php-parser

Analyseur PHP pour NodeJS - extraire l’AST ou les jetons

glayzzle
⭐ 564 JavaScript 👤 glayzzle Organization 🕐 Mis à jour 2026-10-30 📅 Créé 2014-12-07
25
lydell/js-tokens

Minuscule analyseur lexical JavaScript.

lydell
⭐ 557 JavaScript 👤 lydell User 🕐 Mis à jour 2026-11-21 📅 Créé 2014-03-08
26
FoundationVision/UniTok

[NeurIPS 2025 Spotlight] Un tokeniseur unifié pour la génération et la compréhension visuelle

FoundationVision
⭐ 537 Python 👤 FoundationVision Organization 🕐 Mis à jour 2025-11-14 📅 Créé 2025-02-27
27
polm/fugashi

Un wrapper Cython MeCab pour une tokenisation japonaise rapide, pythonique et une analyse morphologique.

polm
⭐ 536 C++ 👤 polm User 🕐 Mis à jour 2025-10-24 📅 Créé 2019-10-14
28
leodevbro/vscode-blockman

Extension VSCode pour mettre en surbrillance les blocs de code imbriqués

leodevbro
⭐ 514 TypeScript 👤 leodevbro User 🕐 Mis à jour 2026-11-07 📅 Créé 2021-05-12
29
NLPOptimize/flash-tokenizer

MOTEUR DE TOKENIZEUR EFFICACE ET OPTIMISÉ POUR LE SERVING D'INFÉRENCE LLM

NLPOptimize
⭐ 509 C++ 👤 NLPOptimize Organization 🕐 Mis à jour 2026-02-02 📅 Créé 2025-03-09

Foire aux questions

1

Quel est le dépôt #tokenizer le plus populaire sur GitHub ?

Le projet #tokenizer open source le mieux classé sur GitHub est rasbt/LLMs-from-scratch, avec 108,745 étoiles. Implémentez à partir de zéro un LLM de type ChatGPT dans PyTorch, étape par étape

2

Quels langages de programmation sont les plus utilisés dans les dépôts #tokenizer ?

Parmi les projets #tokenizer les mieux classés sur GitHub, les langages de programmation les plus courants sont Python, TypeScript, JavaScript, C++.

3

Comment le classement des dépôts #tokenizer est-il calculé ?

Nous suivons 29 dépôts open source actifs associés à #tokenizer (500+ étoiles), totalisant 145,054 étoiles, avec une moyenne de 5,001 étoiles par dépôt. Les classements sont mis à jour quotidiennement à partir de l’API GitHub.