Git Stars Git Stars

#tokenizer Repository

Scopri 29 repository GitHub open source attivi contrassegnati con #tokenizer, che raccolgono un totale di 145,054 stelle (con una media di 5,001 stelle per progetto). Il progetto leader di questo argomento è rasbt/LLMs-from-scratch, con 108,745 stelle.

29
Totale Repository
145,054
Totale stelle
5,001
Media Stelle/Repo

29 repository in totale

1
rasbt/LLMs-from-scratch

Implementa un LLM simile a ChatGPT in PyTorch da zero, passo dopo passo

rasbt
⭐ 108,745 Jupyter Notebook 👤 rasbt User 🕐 Aggiornato 2026-11-20 📅 Creato 2023-07-23
2
theseer/tokenizer

Una piccola libreria per convertire il codice sorgente PHP tokenizzato in XML (e potenzialmente altri formati)

theseer
⭐ 5,190 PHP 👤 theseer User 🕐 Aggiornato 2026-02-03 📅 Creato 2017-04-05
3
marcelroed/gigatoken

Tokenizzazione di modelli linguistici a GB/s

marcelroed
⭐ 4,157 Rust 👤 marcelroed User 🕐 Aggiornato 2026-11-02 📅 Creato 2025-11-10
4
andialbrecht/sqlparse

Un modulo di parser SQL non validante per Python

andialbrecht
⭐ 4,023 Python 👤 andialbrecht User 🕐 Aggiornato 2026-11-01 📅 Creato 2012-04-18
5
Chevrotain/chevrotain

Toolkit per la costruzione di parser per JavaScript

Chevrotain
⭐ 2,820 TypeScript 👤 Chevrotain Organization 🕐 Aggiornato 2026-11-21 📅 Creato 2015-04-15
6
dqbd/tiktokenizer

Playground online per tokenizer OpenAPI

dqbd
⭐ 1,605 TypeScript 👤 dqbd User 🕐 Aggiornato 2025-04-24 📅 Creato 2023-03-02
7
roshan-research/hazm

Toolkit NLP persiano

roshan-research
⭐ 1,435 Python 👤 roshan-research Organization 🕐 Aggiornato 2026-04-01 📅 Creato 2013-10-29
8
natasha/natasha

Risolve attività NLP russe di base, API per progetti Natasha di livello inferiore

natasha
⭐ 1,364 Python 👤 natasha Organization 🕐 Aggiornato 2026-10-14 📅 Creato 2016-08-03
9
datalust/superpower

Un kit di strumenti per la costruzione di parser C# con report di errori di alta qualità

datalust
⭐ 1,345 C# 👤 datalust Organization 🕐 Aggiornato 2026-05-20 📅 Creato 2016-09-01
10
uhop/stream-json

Una micro-libreria di componenti di flusso per costruire pipeline di elaborazione JSON e JSONC personalizzate con un ingombro di memoria minimo: analizza, filtra e trasforma JSON molto più grandi della memoria disponibile con un'API di token ispirata a SAX, su Node.js o Web Streams.

uhop
⭐ 1,209 JavaScript 👤 uhop User 🕐 Aggiornato 2026-11-20 📅 Creato 2013-08-11
11
lovit/soynlp

Questa è una libreria Python per l'elaborazione del linguaggio naturale coreano. Fornisce funzioni per l'estrazione di parole / tokenizzatore / etichettatura POS / pre-elaborazione.

lovit
⭐ 996 Python 👤 lovit User 🕐 Aggiornato 2026-10-04 📅 Creato 2017-05-13
12
ikawaha/kagome

Analizzatore morfologico giapponese autonomo scritto in puro Go

ikawaha
⭐ 988 Go 👤 ikawaha User 🕐 Aggiornato 2026-11-20 📅 Creato 2014-06-26
13
no-context/moo

Generatore di tokenizer/lexer ottimizzato! 🐄 Usa /y per le prestazioni. Muu.

no-context
⭐ 884 JavaScript 👤 no-context Organization 🕐 Aggiornato 2026-02-27 📅 Creato 2017-03-10
14
wangfenjin/simple

Estensione di ricerca full-text SQLite fts5 che supporta cinese e Pinyin | Un tokenizer SQLite3 fts5 che supporta cinese e Pinyin

wangfenjin
⭐ 877 C++ 👤 wangfenjin User 🕐 Aggiornato 2026-05-17 📅 Creato 2020-03-03
15
niieani/gpt-tokenizer

Il codificatore-decodificatore tokenizzatore BPE JavaScript più veloce per i modelli GPT di OpenAI (gpt-5, gpt-o*, gpt-4o, ecc.). Porting di tiktoken di OpenAI con funzionalità aggiuntive.

niieani
⭐ 862 TypeScript 👤 niieani User 🕐 Aggiornato 2026-11-10 📅 Creato 2023-03-22
16
BLKSerene/Wordless

Uno strumento di corpus integrato con supporto multilingue per lo studio della lingua, della letteratura e della traduzione

BLKSerene
⭐ 762 Python 👤 BLKSerene User 🕐 Aggiornato 2025-10-30 📅 Creato 2018-08-23
17
lindera/lindera

Una libreria di analisi morfologica multilingue.

lindera
⭐ 708 Rust 👤 lindera Organization 🕐 Aggiornato 2026-11-21 📅 Creato 2020-01-22
18
risesoft-y9/Data-Labeling

Data Labeling è uno strumento specializzato nell'elaborazione e nell'etichettatura dei dati testuali. Semplificando i comodi processi di etichettatura del testo e feedback algoritmico dinamico, supporta gli utenti nell'etichettare rapidamente le parole chiave e può ridurre continuamente i costi e il tempo di etichettatura manuale attraverso algoritmi. Il processo di etichettatura dei dati inizia prima con l'etichettatura manuale per costruire le basi, poi l'etichettatura automatica retroagisce sull'etichettatura manuale, e infine l'etichettatura manuale viene utilizzata per la correzione, al fine di migliorare notevolmente l'accuratezza e l'efficienza dell'etichettatura. Data Labeling richiede l'utilizzo di una base digitale open source per il controllo delle posizioni del personale.

risesoft-y9
⭐ 695 Java 👤 risesoft-y9 Organization 🕐 Aggiornato 2025-06-23 📅 Creato 2024-08-26
19
cbaziotis/ekphrasis

Ekphrasis è uno strumento di elaborazione del testo, orientato ai testi dei social network, come Twitter o Facebook. Ekphrasis esegue la tokenizzazione, la normalizzazione delle parole, la segmentazione delle parole (per dividere gli hashtag) e la correzione ortografica, utilizzando statistiche sulle parole da 2 grandi corpora (Wikipedia inglese, twitter - 330 milioni di tweet in inglese).

cbaziotis
⭐ 676 Python 👤 cbaziotis User 🕐 Aggiornato 2025-06-02 📅 Creato 2017-02-07
20
open-korean-text/open-korean-text

Open Korean Text Processor - Un elaboratore di testi coreani open-source

open-korean-text
⭐ 651 Scala 👤 open-korean-text Organization 🕐 Aggiornato 2024-03-12 📅 Creato 2017-01-24
21
jflex-de/jflex

Il veloce generatore di scanner per Java™ con supporto completo Unicode

jflex-de
⭐ 637 Java 👤 jflex-de Organization 🕐 Aggiornato 2026-11-21 📅 Creato 2015-02-15
22
therealoliver/Deepdive-llama3-from-scratch

Realizza il passaggio di inferenza di llama3 passo dopo passo, afferra i concetti fondamentali, padroneggia la derivazione del processo, implementa il codice.

therealoliver
⭐ 629 Jupyter Notebook 👤 therealoliver User 🕐 Aggiornato 2025-02-24 📅 Creato 2025-02-19
23
alasdairforsythe/tokenmonster

Tokenizzatore di sottoparole non greedy e addestratore di vocabolario per Python, Go, C++ e Javascript

alasdairforsythe
⭐ 626 Go 👤 alasdairforsythe User 🕐 Aggiornato 2026-07-10 📅 Creato 2023-05-12
24
glayzzle/php-parser

Parser PHP per NodeJS: estrarre AST o token

glayzzle
⭐ 564 JavaScript 👤 glayzzle Organization 🕐 Aggiornato 2026-10-30 📅 Creato 2014-12-07
25
lydell/js-tokens

Piccolo tokenizer JavaScript.

lydell
⭐ 557 JavaScript 👤 lydell User 🕐 Aggiornato 2026-11-21 📅 Creato 2014-03-08
26
FoundationVision/UniTok

[NeurIPS 2025 Spotlight] Un tokenizzatore unificato per la generazione e la comprensione visiva

FoundationVision
⭐ 537 Python 👤 FoundationVision Organization 🕐 Aggiornato 2025-11-14 📅 Creato 2025-02-27
27
polm/fugashi

Un wrapper Cython MeCab per tokenizzazione giapponese veloce, pythonica e analisi morfologica.

polm
⭐ 536 C++ 👤 polm User 🕐 Aggiornato 2025-10-24 📅 Creato 2019-10-14
28
leodevbro/vscode-blockman

Estensione VSCode per evidenziare blocchi di codice nidificati

leodevbro
⭐ 514 TypeScript 👤 leodevbro User 🕐 Aggiornato 2026-11-07 📅 Creato 2021-05-12
29
NLPOptimize/flash-tokenizer

MOTORE TOKENIZER EFFICIENTE E OTTIMIZZATO PER IL SERVING DI INFERENCE LLM

NLPOptimize
⭐ 509 C++ 👤 NLPOptimize Organization 🕐 Aggiornato 2026-02-02 📅 Creato 2025-03-09

Domande frequenti

1

Qual è il repository #tokenizer più popolare su GitHub?

Il progetto open source #tokenizer più alto in classifica su GitHub è rasbt/LLMs-from-scratch, con 108,745 stelle. Implementa un LLM simile a ChatGPT in PyTorch da zero, passo dopo passo

2

Quali linguaggi di programmazione sono più utilizzati nei repository #tokenizer?

Tra i progetti #tokenizer più alti in classifica su GitHub, i linguaggi di programmazione più comuni sono Python, TypeScript, JavaScript, C++.

3

Come viene calcolata la classifica dei repository #tokenizer?

Monitoriamo 29 repository open source attivi contrassegnati con #tokenizer (500+ stelle), per un totale di 145,054 stelle e una media di 5,001 stelle per repository. Le classifiche vengono aggiornate quotidianamente tramite l’API di GitHub.