Git Stars Git Stars

#tokenizer Repositórios

Descubra 29 repositórios ativos de código aberto no GitHub marcados com #tokenizer, acumulando um total de 145,054 estrelas (uma média de 5,001 por projeto). O líder deste tópico é rasbt/LLMs-from-scratch, com 108,745 estrelas.

29
Total de Repositórios
145,054
Total de estrelas
5,001
Média de Estrelas/Repositório

29 repositórios no total

1
rasbt/LLMs-from-scratch

Implementar um LLM semelhante ao ChatGPT em PyTorch do zero, passo a passo

rasbt
⭐ 108,745 Jupyter Notebook 👤 rasbt User 🕐 Atualizado 2026-11-20 📅 Criado 2023-07-23
2
theseer/tokenizer

Uma pequena biblioteca para converter código-fonte PHP tokenizado em XML (e potencialmente outros formatos)

theseer
⭐ 5,190 PHP 👤 theseer User 🕐 Atualizado 2026-02-03 📅 Criado 2017-04-05
3
marcelroed/gigatoken

Tokenização de modelos de linguagem a GB/s

marcelroed
⭐ 4,157 Rust 👤 marcelroed User 🕐 Atualizado 2026-11-02 📅 Criado 2025-11-10
4
andialbrecht/sqlparse

Um módulo analisador de SQL não validador para Python

andialbrecht
⭐ 4,023 Python 👤 andialbrecht User 🕐 Atualizado 2026-11-01 📅 Criado 2012-04-18
5
Chevrotain/chevrotain

Toolkit para Construção de Analisadores em JavaScript

Chevrotain
⭐ 2,820 TypeScript 👤 Chevrotain Organization 🕐 Atualizado 2026-11-21 📅 Criado 2015-04-15
6
dqbd/tiktokenizer

Playground online para tokenizadores OpenAPI

dqbd
⭐ 1,605 TypeScript 👤 dqbd User 🕐 Atualizado 2025-04-24 📅 Criado 2023-03-02
7
roshan-research/hazm

Toolkit de PLN Persa

roshan-research
⭐ 1,435 Python 👤 roshan-research Organization 🕐 Atualizado 2026-04-01 📅 Criado 2013-10-29
8
natasha/natasha

Resolve tarefas básicas de PLN em russo, API para projetos Natasha de nível mais baixo

natasha
⭐ 1,364 Python 👤 natasha Organization 🕐 Atualizado 2026-10-14 📅 Criado 2016-08-03
9
datalust/superpower

Um kit de ferramentas para construção de analisadores em C# com relatórios de erros de alta qualidade

datalust
⭐ 1,345 C# 👤 datalust Organization 🕐 Atualizado 2026-05-20 📅 Criado 2016-09-01
10
uhop/stream-json

Uma microbiblioteca de componentes de fluxo para construir pipelines de processamento JSON e JSONC personalizados com um consumo mínimo de memória — analise, filtre e transforme JSON muito maior do que a memória disponível com uma API de token inspirada em SAX, no Node.js ou Web Streams.

uhop
⭐ 1,209 JavaScript 👤 uhop User 🕐 Atualizado 2026-11-20 📅 Criado 2013-08-11
11
lovit/soynlp

Esta é uma biblioteca Python para processamento de linguagem natural em coreano. Ela oferece funcionalidades de extração de palavras / tokenização / identificação de classes gramaticais / pré-processamento.

lovit
⭐ 996 Python 👤 lovit User 🕐 Atualizado 2026-10-04 📅 Criado 2017-05-13
12
ikawaha/kagome

Analisador Morfológico Japonês autocontido escrito em Go puro

ikawaha
⭐ 988 Go 👤 ikawaha User 🕐 Atualizado 2026-11-20 📅 Criado 2014-06-26
13
no-context/moo

Gerador de tokenizer/lexer otimizado! 🐄 Usa /y para desempenho. Muu.

no-context
⭐ 884 JavaScript 👤 no-context Organization 🕐 Atualizado 2026-02-27 📅 Criado 2017-03-10
14
wangfenjin/simple

Extensão de pesquisa de texto completo SQLite fts5 com suporte a Chinês e PinYin | Um tokenizador fts5 do SQLite3 que suporta Chinês e PinYin

wangfenjin
⭐ 877 C++ 👤 wangfenjin User 🕐 Atualizado 2026-05-17 📅 Criado 2020-03-03
15
niieani/gpt-tokenizer

O Tokenizador BPE, Codificador e Decodificador em JavaScript mais rápido para os modelos GPT da OpenAI (gpt-5, gpt-o*, gpt-4o, etc.). Adaptação do tiktoken da OpenAI com recursos adicionais.

niieani
⭐ 862 TypeScript 👤 niieani User 🕐 Atualizado 2026-11-10 📅 Criado 2023-03-22
16
BLKSerene/Wordless

Uma Ferramenta de Corpus Integrada com Suporte Multilíngue para o Estudo de Língua, Literatura e Tradução

BLKSerene
⭐ 762 Python 👤 BLKSerene User 🕐 Atualizado 2025-10-30 📅 Criado 2018-08-23
17
lindera/lindera

Uma biblioteca de análise morfológica multilíngue.

lindera
⭐ 708 Rust 👤 lindera Organization 🕐 Atualizado 2026-11-21 📅 Criado 2020-01-22
18
risesoft-y9/Data-Labeling

A Rotulagem de Dados é uma ferramenta especializada para o processamento e anotação de dados textuais. Através de fluxos de trabalho de anotação simplificados e rápidos e feedback algorítmico dinâmico, ela permite que os usuários rotulem rapidamente palavras-chave e, por meio de algoritmos, reduzam continuamente o custo e o tempo da rotulagem manual. O processo de rotulagem de dados começa com a construção da base por anotação manual, seguida pela realimentação da anotação automática para a manual, e, finalmente, pela correção de desvios pela anotação manual, aumentando significativamente a precisão e a eficiência da rotulagem. A Rotulagem de Dados requer uma plataforma digital de código aberto para a gestão de pessoal e cargos.

risesoft-y9
⭐ 695 Java 👤 risesoft-y9 Organization 🕐 Atualizado 2025-06-23 📅 Criado 2024-08-26
19
cbaziotis/ekphrasis

Ekphrasis é uma ferramenta de processamento de texto, voltada para textos de redes sociais, como Twitter ou Facebook. O Ekphrasis realiza tokenização, normalização de palavras, segmentação de palavras (para dividir hashtags) e correção ortográfica, usando estatísticas de palavras de 2 grandes corpora (Wikipedia em inglês, twitter - 330 milhões de tweets em inglês).

cbaziotis
⭐ 676 Python 👤 cbaziotis User 🕐 Atualizado 2025-06-02 📅 Criado 2017-02-07
20
open-korean-text/open-korean-text

Processador de Texto Coreano Aberto - Um Processador de Texto Coreano de Código Aberto

open-korean-text
⭐ 651 Scala 👤 open-korean-text Organization 🕐 Atualizado 2024-03-12 📅 Criado 2017-01-24
21
jflex-de/jflex

O gerador de scanner rápido para Java™ com suporte completo a Unicode

jflex-de
⭐ 637 Java 👤 jflex-de Organization 🕐 Atualizado 2026-11-21 📅 Criado 2015-02-15
22
therealoliver/Deepdive-llama3-from-scratch

Alcance a inferência do llama3 passo a passo, compreenda os conceitos centrais, domine a derivação do processo e implemente o código.

therealoliver
⭐ 629 Jupyter Notebook 👤 therealoliver User 🕐 Atualizado 2025-02-24 📅 Criado 2025-02-19
23
alasdairforsythe/tokenmonster

Tokenizador de subpalavras não ganancioso e treinador de vocabulário para Python, Go, C++ e Javascript

alasdairforsythe
⭐ 626 Go 👤 alasdairforsythe User 🕐 Atualizado 2026-07-10 📅 Criado 2023-05-12
24
glayzzle/php-parser

Parser PHP para NodeJS: extrair AST ou tokens

glayzzle
⭐ 564 JavaScript 👤 glayzzle Organization 🕐 Atualizado 2026-10-30 📅 Criado 2014-12-07
25
lydell/js-tokens

Tokenizador minúsculo em JavaScript.

lydell
⭐ 557 JavaScript 👤 lydell User 🕐 Atualizado 2026-11-21 📅 Criado 2014-03-08
26
FoundationVision/UniTok

[NeurIPS 2025 Spotlight] Um tokenizador unificado para geração e compreensão visual

FoundationVision
⭐ 537 Python 👤 FoundationVision Organization 🕐 Atualizado 2025-11-14 📅 Criado 2025-02-27
27
polm/fugashi

Um wrapper Cython MeCab para tokenização japonesa rápida, pythonico e análise morfológica.

polm
⭐ 536 C++ 👤 polm User 🕐 Atualizado 2025-10-24 📅 Criado 2019-10-14
28
leodevbro/vscode-blockman

Extensão do VSCode para destacar blocos de código aninhados

leodevbro
⭐ 514 TypeScript 👤 leodevbro User 🕐 Atualizado 2026-11-07 📅 Criado 2021-05-12
29
NLPOptimize/flash-tokenizer

MOTOR DE TOKENIZADOR EFICIENTE E OTIMIZADO PARA SERVIÇO DE INFERÊNCIA DE LLM

NLPOptimize
⭐ 509 C++ 👤 NLPOptimize Organization 🕐 Atualizado 2026-02-02 📅 Criado 2025-03-09

Perguntas Frequentes

1

Qual é o repositório de #tokenizer mais popular no GitHub?

O projeto de código aberto de #tokenizer mais bem classificado no GitHub é rasbt/LLMs-from-scratch, com 108,745 estrelas. Implementar um LLM semelhante ao ChatGPT em PyTorch do zero, passo a passo

2

Quais linguagens de programação são mais usadas nos repositórios de #tokenizer?

Entre os projetos de #tokenizer mais bem classificados no GitHub, as linguagens de programação mais comuns são Python, TypeScript, JavaScript, C++.

3

Como é calculada a classificação dos repositórios de #tokenizer?

Acompanhamos 29 repositórios ativos de código aberto marcados com #tokenizer (com mais de 500 estrelas), totalizando 145,054 estrelas e uma média de 5,001 estrelas por repositório. As classificações são atualizadas diariamente a partir da API do GitHub.