Git Stars Git Stars

#tokenization Repositórios

Descubra 33 repositórios ativos de código aberto no GitHub marcados com #tokenization, acumulando um total de 183,037 estrelas (uma média de 5,546 por projeto). O líder deste tópico é shiyu-coder/Kronos, com 48,042 estrelas.

33
Total de Repositórios
183,037
Total de estrelas
5,546
Média de Estrelas/Repositório

33 repositórios no total

1
shiyu-coder/Kronos

Kronos: Um Modelo Base para a Linguagem dos Mercados Financeiros

shiyu-coder
⭐ 48,042 Python 👤 shiyu-coder User 🕐 Atualizado 2026-04-13 📅 Criado 2025-07-01
2
explosion/spaCy

💫 Processamento de Linguagem Natural (NLP) de nível industrial em Python

explosion
⭐ 34,082 Python 👤 explosion Organization 🕐 Atualizado 2026-11-21 📅 Criado 2014-07-03
3
toon-format/toon

🎒 Notação de Objetos Orientada a Tokens (TOON) – serialização compacta e legível por humanos de dados JSON para prompts de LLM. SDK TypeScript, CLI, benchmarks.

toon-format
⭐ 25,642 TypeScript 👤 toon-format Organization 🕐 Atualizado 2026-11-11 📅 Criado 2025-10-22
4
openai/tiktoken

tiktoken é um tokenizador BPE rápido para uso com os modelos da OpenAI.

openai
⭐ 19,698 Python 👤 openai Organization 🕐 Atualizado 2026-11-08 📅 Criado 2022-12-01
5
doctrine/lexer

Biblioteca base para um analisador léxico que pode ser usado em analisadores sintáticos descendentes recursivos (Top-Down, Recursive Descent Parsers).

doctrine
⭐ 11,141 PHP 👤 doctrine Organization 🕐 Atualizado 2026-11-15 📅 Criado 2013-01-12
6
karpathy/minbpe

Código limpo e mínimo para o algoritmo Byte Pair Encoding (BPE) comumente usado na tokenização de LLMs.

karpathy
⭐ 10,241 Python 👤 karpathy User 🕐 Atualizado 2024-07-01 📅 Criado 2024-02-16
7
openai/harmony

Renderizador para o formato de resposta harmony a ser usado com gpt-oss

openai
⭐ 4,548 Rust 👤 openai Organization 🕐 Atualizado 2026-04-08 📅 Criado 2025-07-31
8
marcelroed/gigatoken

Tokenização de modelos de linguagem a GB/s

marcelroed
⭐ 4,157 Rust 👤 marcelroed User 🕐 Atualizado 2026-11-02 📅 Criado 2025-11-10
9
AgentOps-AI/tokencost

Estimativas fáceis de preço de token para mais de 400 LLMs. TokenOps.

AgentOps-AI
⭐ 2,007 Python 👤 AgentOps-AI Organization 🕐 Atualizado 2025-09-05 📅 Criado 2023-12-03
10
apple-aiml-research/ml-4m

4M: Modelagem Mascarada Massivamente Multimodal

apple-aiml-research
⭐ 1,814 Python 👤 apple-aiml-research Organization 🕐 Atualizado 2026-09-11 📅 Criado 2024-04-08
11
rspeer/wordfreq

Acesse um banco de dados de frequências de palavras, em várias línguas naturais.

rspeer
⭐ 1,664 Python 👤 rspeer User 🕐 Atualizado 2025-01-04 📅 Criado 2013-10-28
12
Ridera-Rwa/Ridera-core

Repositório principal do protocolo para Ridera — Mobility RWA no Base. Inclui documentação, arquitetura, contratos inteligentes e design do protocolo.

Ridera-Rwa
⭐ 1,593 Solidity 👤 Ridera-Rwa User 🕐 Atualizado 2025-12-15 📅 Criado 2025-11-24
13
shikijs/shiki-magic-move

Blocos de código animados de forma suave com Shiki

shikijs
⭐ 1,511 TypeScript 👤 shikijs Organization 🕐 Atualizado 2026-05-19 📅 Criado 2024-02-22
14
securitybunker/databunker

Cofre Seguro para Registros de PII/PHI/PCI/KYC de Clientes

securitybunker
⭐ 1,498 Go 👤 securitybunker Organization 🕐 Atualizado 2026-11-20 📅 Criado 2019-12-08
15
lunasec-io/lunasec

LunaSec - Scanner de Segurança de Dependências que notifica automaticamente sobre vulnerabilidades como Log4Shell ou node-ipc em seus Pull Requests e Builds. Proteja-se em 30 segundos com o Aplicativo LunaTrace GitHub: https://github.com/marketplace/lunatrace-by-lunasec/

lunasec-io
⭐ 1,461 TypeScript 👤 lunasec-io Organization 🕐 Atualizado 2024-05-02 📅 Criado 2021-03-16
16
huggingface/swift-transformers

Pacote Swift para implementar uma API no estilo transformers em Swift

huggingface
⭐ 1,366 Swift 👤 huggingface Organization 🕐 Atualizado 2026-11-06 📅 Criado 2023-05-11
17
tensorflow/text

Tornando o texto um cidadão de primeira classe no TensorFlow.

tensorflow
⭐ 1,299 C++ 👤 tensorflow Organization 🕐 Atualizado 2026-11-19 📅 Criado 2019-05-29
18
RavenProject/Ravencoin

Ravencoin Core árvore de integração/preparação

RavenProject
⭐ 1,122 C 👤 RavenProject Organization 🕐 Atualizado 2026-08-18 📅 Criado 2017-07-09
19
mistralai/mistral-common

Biblioteca oficial de inferência para o pré-processamento de modelos Mistral

mistralai
⭐ 965 Python 👤 mistralai Organization 🕐 Atualizado 2026-11-19 📅 Criado 2024-04-15
20
servo/rust-cssparser

Implementação em Rust da Sintaxe CSS Nível 3

servo
⭐ 875 Rust 👤 servo Organization 🕐 Atualizado 2026-11-18 📅 Criado 2013-07-10
21
KennFalcon/elasticsearch-analysis-hanlp

Analisador HanLP para Elasticsearch

KennFalcon
⭐ 854 Java 👤 KennFalcon User 🕐 Atualizado 2024-07-12 📅 Criado 2017-03-04
22
explosion/spacy-streamlit

👑 Blocos de construção e visualizadores spaCy para aplicativos Streamlit

explosion
⭐ 849 Python 👤 explosion Organization 🕐 Atualizado 2024-07-29 📅 Criado 2020-06-23
23
nlp-uoregon/trankit

Trankit é um Kit de Ferramentas Python Leve, baseado em Transformer, para Processamento de Linguagem Natural Multilíngue

nlp-uoregon
⭐ 795 Python 👤 nlp-uoregon User 🕐 Atualizado 2025-07-22 📅 Criado 2021-01-08
24
angeloskath/php-nlp-tools

Ferramentas de Processamento de Linguagem Natural em PHP

angeloskath
⭐ 762 PHP 👤 angeloskath User 🕐 Atualizado 2024-07-22 📅 Criado 2012-08-22
25
cbaziotis/ekphrasis

Ekphrasis é uma ferramenta de processamento de texto, voltada para textos de redes sociais, como Twitter ou Facebook. O Ekphrasis realiza tokenização, normalização de palavras, segmentação de palavras (para dividir hashtags) e correção ortográfica, usando estatísticas de palavras de 2 grandes corpora (Wikipedia em inglês, twitter - 330 milhões de tweets em inglês).

cbaziotis
⭐ 676 Python 👤 cbaziotis User 🕐 Atualizado 2025-06-02 📅 Criado 2017-02-07
26
alasdairforsythe/tokenmonster

Tokenizador de subpalavras não ganancioso e treinador de vocabulário para Python, Go, C++ e Javascript

alasdairforsythe
⭐ 626 Go 👤 alasdairforsythe User 🕐 Atualizado 2026-07-10 📅 Criado 2023-05-12
27
SamuraiT/mecab-python3

:snake: mecab-python. Você pode encontrar a versão original aqui: http://taku910.github.io/mecab/

SamuraiT
⭐ 579 C++ 👤 SamuraiT User 🕐 Atualizado 2025-11-25 📅 Criado 2014-05-31
28
adobe/NLP-Cube

Pipeline de Processamento de Linguagem Natural - Divisão de Frases, Tokenização, Lematização, Rotulagem de Part-of-speech e Análise de Dependência

adobe
⭐ 561 HTML 👤 adobe Organization 🕐 Atualizado 2024-11-03 📅 Criado 2018-03-13
29
cl-tohoku/bert-japanese

Modelos BERT para texto em japonês.

cl-tohoku
⭐ 540 Python 👤 cl-tohoku Organization 🕐 Atualizado 2024-03-23 📅 Criado 2019-11-14
30
xingchensong/S3Tokenizer

Reverse Engineering do tokenizador semântico de fala supervisionado (S3Tokenizer) proposto no CosyVoice

xingchensong
⭐ 536 Python 👤 xingchensong User 🕐 Atualizado 2026-11-01 📅 Criado 2024-09-09
31
yooper/php-text-analysis

PHP Text Analysis é uma biblioteca para realizar tarefas de Recuperação de Informação (IR) e Processamento de Linguagem Natural (NLP) usando a linguagem PHP

yooper
⭐ 531 PHP 👤 yooper User 🕐 Atualizado 2024-12-28 📅 Criado 2012-05-21
32
lightninglabs/taproot-assets

Um daemon de camada 1, para a especificação do Protocolo Taproot Assets, escrito em Go (golang)

lightninglabs
⭐ 529 Go 👤 lightninglabs Organization 🕐 Atualizado 2026-11-17 📅 Criado 2022-04-11
33
patrikzudel/PatrikZeros-ChatGPT-API-UI

Página web estática que lhe permite usar a sua chave de API da OpenAI para ter a mesma experiência que obtém com o ChatGPT!

patrikzudel
⭐ 508 Svelte 👤 patrikzudel User 🕐 Atualizado 2024-01-08 📅 Criado 2023-03-07

Perguntas Frequentes

1

Qual é o repositório de #tokenization mais popular no GitHub?

O projeto de código aberto de #tokenization mais bem classificado no GitHub é shiyu-coder/Kronos, com 48,042 estrelas. Kronos: Um Modelo Base para a Linguagem dos Mercados Financeiros

2

Quais linguagens de programação são mais usadas nos repositórios de #tokenization?

Entre os projetos de #tokenization mais bem classificados no GitHub, as linguagens de programação mais comuns são Python, TypeScript, PHP, Rust.

3

Como é calculada a classificação dos repositórios de #tokenization?

Acompanhamos 33 repositórios ativos de código aberto marcados com #tokenization (com mais de 500 estrelas), totalizando 183,037 estrelas e uma média de 5,546 estrelas por repositório. As classificações são atualizadas diariamente a partir da API do GitHub.