Git Stars Git Stars

#tokenization Repository

Scopri 33 repository GitHub open source attivi contrassegnati con #tokenization, che raccolgono un totale di 183,037 stelle (con una media di 5,546 stelle per progetto). Il progetto leader di questo argomento è shiyu-coder/Kronos, con 48,042 stelle.

33
Totale Repository
183,037
Totale stelle
5,546
Media Stelle/Repo

33 repository in totale

1
shiyu-coder/Kronos

Kronos: Un modello di fondazione per il linguaggio dei mercati finanziari

shiyu-coder
⭐ 48,042 Python 👤 shiyu-coder User 🕐 Aggiornato 2026-04-13 📅 Creato 2025-07-01
2
explosion/spaCy

💫 Elaborazione del linguaggio naturale (NLP) di livello industriale in Python

explosion
⭐ 34,082 Python 👤 explosion Organization 🕐 Aggiornato 2026-11-21 📅 Creato 2014-07-03
3
toon-format/toon

🎒 Notazione a Oggetti Orientata ai Token (TOON) – serializzazione compatta e leggibile dall'uomo di dati JSON per prompt LLM. SDK TypeScript, CLI, benchmark.

toon-format
⭐ 25,642 TypeScript 👤 toon-format Organization 🕐 Aggiornato 2026-11-11 📅 Creato 2025-10-22
4
openai/tiktoken

tiktoken è un tokenizzatore BPE veloce da utilizzare con i modelli di OpenAI.

openai
⭐ 19,698 Python 👤 openai Organization 🕐 Aggiornato 2026-11-08 📅 Creato 2022-12-01
5
doctrine/lexer

Libreria di base per un lexer che può essere utilizzato in parser top-down a discesa ricorsiva.

doctrine
⭐ 11,141 PHP 👤 doctrine Organization 🕐 Aggiornato 2026-11-15 📅 Creato 2013-01-12
6
karpathy/minbpe

Codice minimale e pulito per l'algoritmo Byte Pair Encoding (BPE) comunemente utilizzato nella tokenizzazione LLM.

karpathy
⭐ 10,241 Python 👤 karpathy User 🕐 Aggiornato 2024-07-01 📅 Creato 2024-02-16
7
openai/harmony

Renderer per il formato di risposta harmony da utilizzare con gpt-oss

openai
⭐ 4,548 Rust 👤 openai Organization 🕐 Aggiornato 2026-04-08 📅 Creato 2025-07-31
8
marcelroed/gigatoken

Tokenizzazione di modelli linguistici a GB/s

marcelroed
⭐ 4,157 Rust 👤 marcelroed User 🕐 Aggiornato 2026-11-02 📅 Creato 2025-11-10
9
AgentOps-AI/tokencost

Stime semplici del prezzo dei token per oltre 400 LLM. TokenOps.

AgentOps-AI
⭐ 2,007 Python 👤 AgentOps-AI Organization 🕐 Aggiornato 2025-09-05 📅 Creato 2023-12-03
10
apple-aiml-research/ml-4m

4M: Modellazione mascherata massicciamente multimodale

apple-aiml-research
⭐ 1,814 Python 👤 apple-aiml-research Organization 🕐 Aggiornato 2026-09-11 📅 Creato 2024-04-08
11
rspeer/wordfreq

Accedi a un database di frequenze di parole, in varie lingue naturali.

rspeer
⭐ 1,664 Python 👤 rspeer User 🕐 Aggiornato 2025-01-04 📅 Creato 2013-10-28
12
Ridera-Rwa/Ridera-core

Repository del protocollo principale per Ridera — Mobility RWA su Base. Include documentazione, architettura, smart contract e progettazione del protocollo.

Ridera-Rwa
⭐ 1,593 Solidity 👤 Ridera-Rwa User 🕐 Aggiornato 2025-12-15 📅 Creato 2025-11-24
13
shikijs/shiki-magic-move

Blocchi di codice animati fluidamente con Shiki

shikijs
⭐ 1,511 TypeScript 👤 shikijs Organization 🕐 Aggiornato 2026-05-19 📅 Creato 2024-02-22
14
securitybunker/databunker

Cassaforte Sicura per i Registri PII/PHI/PCI/KYC dei Clienti

securitybunker
⭐ 1,498 Go 👤 securitybunker Organization 🕐 Aggiornato 2026-11-20 📅 Creato 2019-12-08
15
lunasec-io/lunasec

LunaSec – Dependency Security Scanner che ti avvisa automaticamente di vulnerabilità come Log4Shell o node-ipc nelle tue Pull Request e Build. Proteggiti in 30 secondi con l'app LunaTrace per GitHub: https://github.com/marketplace/lunatrace-by-lunasec/

lunasec-io
⭐ 1,461 TypeScript 👤 lunasec-io Organization 🕐 Aggiornato 2024-05-02 📅 Creato 2021-03-16
16
huggingface/swift-transformers

Pacchetto Swift per implementare un'API simile a transformers in Swift

huggingface
⭐ 1,366 Swift 👤 huggingface Organization 🕐 Aggiornato 2026-11-06 📅 Creato 2023-05-11
17
tensorflow/text

Rendere il testo un cittadino di prima classe in TensorFlow.

tensorflow
⭐ 1,299 C++ 👤 tensorflow Organization 🕐 Aggiornato 2026-11-19 📅 Creato 2019-05-29
18
RavenProject/Ravencoin

Albero di integrazione/staging di Ravencoin Core

RavenProject
⭐ 1,122 C 👤 RavenProject Organization 🕐 Aggiornato 2026-08-18 📅 Creato 2017-07-09
19
mistralai/mistral-common

Libreria di inferenza ufficiale per il pre-processing dei modelli Mistral

mistralai
⭐ 965 Python 👤 mistralai Organization 🕐 Aggiornato 2026-11-19 📅 Creato 2024-04-15
20
servo/rust-cssparser

Implementazione in Rust di CSS Syntax Level 3

servo
⭐ 875 Rust 👤 servo Organization 🕐 Aggiornato 2026-11-18 📅 Creato 2013-07-10
21
KennFalcon/elasticsearch-analysis-hanlp

HanLP Analyzer per Elasticsearch

KennFalcon
⭐ 854 Java 👤 KennFalcon User 🕐 Aggiornato 2024-07-12 📅 Creato 2017-03-04
22
explosion/spacy-streamlit

👑 Blocchi costitutivi e visualizzatori di spaCy per app Streamlit

explosion
⭐ 849 Python 👤 explosion Organization 🕐 Aggiornato 2024-07-29 📅 Creato 2020-06-23
23
nlp-uoregon/trankit

Trankit è un toolkit Python leggero basato su Transformer per l'elaborazione del linguaggio naturale multilingue

nlp-uoregon
⭐ 795 Python 👤 nlp-uoregon User 🕐 Aggiornato 2025-07-22 📅 Creato 2021-01-08
24
angeloskath/php-nlp-tools

Strumenti di Elaborazione del Linguaggio Naturale in PHP

angeloskath
⭐ 762 PHP 👤 angeloskath User 🕐 Aggiornato 2024-07-22 📅 Creato 2012-08-22
25
cbaziotis/ekphrasis

Ekphrasis è uno strumento di elaborazione del testo, orientato ai testi dei social network, come Twitter o Facebook. Ekphrasis esegue la tokenizzazione, la normalizzazione delle parole, la segmentazione delle parole (per dividere gli hashtag) e la correzione ortografica, utilizzando statistiche sulle parole da 2 grandi corpora (Wikipedia inglese, twitter - 330 milioni di tweet in inglese).

cbaziotis
⭐ 676 Python 👤 cbaziotis User 🕐 Aggiornato 2025-06-02 📅 Creato 2017-02-07
26
alasdairforsythe/tokenmonster

Tokenizzatore di sottoparole non greedy e addestratore di vocabolario per Python, Go, C++ e Javascript

alasdairforsythe
⭐ 626 Go 👤 alasdairforsythe User 🕐 Aggiornato 2026-07-10 📅 Creato 2023-05-12
27
SamuraiT/mecab-python3

:snake: mecab-python. Puoi trovare la versione originale qui: http://taku910.github.io/mecab/

SamuraiT
⭐ 579 C++ 👤 SamuraiT User 🕐 Aggiornato 2025-11-25 📅 Creato 2014-05-31
28
adobe/NLP-Cube

Pipeline di Elaborazione del Linguaggio Naturale - Suddivisione delle Frasi, Tokenizzazione, Lemmatizzazione, Etichettatura delle Parti del Discorso e Analisi delle Dipendenze

adobe
⭐ 561 HTML 👤 adobe Organization 🕐 Aggiornato 2024-11-03 📅 Creato 2018-03-13
29
cl-tohoku/bert-japanese

Modelli BERT per testo giapponese.

cl-tohoku
⭐ 540 Python 👤 cl-tohoku Organization 🕐 Aggiornato 2024-03-23 📅 Creato 2019-11-14
30
xingchensong/S3Tokenizer

Reverse Engineering del Tokenizer semantico di voce supervisato (S3Tokenizer) proposto in CosyVoice

xingchensong
⭐ 536 Python 👤 xingchensong User 🕐 Aggiornato 2026-11-01 📅 Creato 2024-09-09
31
yooper/php-text-analysis

PHP Text Analysis è una libreria per eseguire compiti di Recupero delle Informazioni (IR) e Elaborazione del Linguaggio Naturale (NLP) utilizzando il linguaggio PHP

yooper
⭐ 531 PHP 👤 yooper User 🕐 Aggiornato 2024-12-28 📅 Creato 2012-05-21
32
lightninglabs/taproot-assets

Un demone di livello 1, per la specifica del protocollo Taproot Assets, scritto in Go (golang)

lightninglabs
⭐ 529 Go 👤 lightninglabs Organization 🕐 Aggiornato 2026-11-17 📅 Creato 2022-04-11
33
patrikzudel/PatrikZeros-ChatGPT-API-UI

Pagina web statica che ti consente di utilizzare la tua chiave API OpenAI per la stessa esperienza che ottieni con ChatGPT!

patrikzudel
⭐ 508 Svelte 👤 patrikzudel User 🕐 Aggiornato 2024-01-08 📅 Creato 2023-03-07

Domande frequenti

1

Qual è il repository #tokenization più popolare su GitHub?

Il progetto open source #tokenization più alto in classifica su GitHub è shiyu-coder/Kronos, con 48,042 stelle. Kronos: Un modello di fondazione per il linguaggio dei mercati finanziari

2

Quali linguaggi di programmazione sono più utilizzati nei repository #tokenization?

Tra i progetti #tokenization più alti in classifica su GitHub, i linguaggi di programmazione più comuni sono Python, TypeScript, PHP, Rust.

3

Come viene calcolata la classifica dei repository #tokenization?

Monitoriamo 33 repository open source attivi contrassegnati con #tokenization (500+ stelle), per un totale di 183,037 stelle e una media di 5,546 stelle per repository. Le classifiche vengono aggiornate quotidianamente tramite l’API di GitHub.