#tokenizer Repositórios
Descubra 29 repositórios ativos de código aberto no GitHub marcados com #tokenizer, acumulando um total de 145,054 estrelas (uma média de 5,001 por projeto). O líder deste tópico é rasbt/LLMs-from-scratch, com 108,745 estrelas.
29 repositórios no total
Implementar um LLM semelhante ao ChatGPT em PyTorch do zero, passo a passo
Uma pequena biblioteca para converter código-fonte PHP tokenizado em XML (e potencialmente outros formatos)
Resolve tarefas básicas de PLN em russo, API para projetos Natasha de nível mais baixo
Um kit de ferramentas para construção de analisadores em C# com relatórios de erros de alta qualidade
Uma microbiblioteca de componentes de fluxo para construir pipelines de processamento JSON e JSONC personalizados com um consumo mínimo de memória — analise, filtre e transforme JSON muito maior do que a memória disponível com uma API de token inspirada em SAX, no Node.js ou Web Streams.
Esta é uma biblioteca Python para processamento de linguagem natural em coreano. Ela oferece funcionalidades de extração de palavras / tokenização / identificação de classes gramaticais / pré-processamento.
Extensão de pesquisa de texto completo SQLite fts5 com suporte a Chinês e PinYin | Um tokenizador fts5 do SQLite3 que suporta Chinês e PinYin
O Tokenizador BPE, Codificador e Decodificador em JavaScript mais rápido para os modelos GPT da OpenAI (gpt-5, gpt-o*, gpt-4o, etc.). Adaptação do tiktoken da OpenAI com recursos adicionais.
Uma Ferramenta de Corpus Integrada com Suporte Multilíngue para o Estudo de Língua, Literatura e Tradução
A Rotulagem de Dados é uma ferramenta especializada para o processamento e anotação de dados textuais. Através de fluxos de trabalho de anotação simplificados e rápidos e feedback algorítmico dinâmico, ela permite que os usuários rotulem rapidamente palavras-chave e, por meio de algoritmos, reduzam continuamente o custo e o tempo da rotulagem manual. O processo de rotulagem de dados começa com a construção da base por anotação manual, seguida pela realimentação da anotação automática para a manual, e, finalmente, pela correção de desvios pela anotação manual, aumentando significativamente a precisão e a eficiência da rotulagem. A Rotulagem de Dados requer uma plataforma digital de código aberto para a gestão de pessoal e cargos.
Ekphrasis é uma ferramenta de processamento de texto, voltada para textos de redes sociais, como Twitter ou Facebook. O Ekphrasis realiza tokenização, normalização de palavras, segmentação de palavras (para dividir hashtags) e correção ortográfica, usando estatísticas de palavras de 2 grandes corpora (Wikipedia em inglês, twitter - 330 milhões de tweets em inglês).
Processador de Texto Coreano Aberto - Um Processador de Texto Coreano de Código Aberto
Alcance a inferência do llama3 passo a passo, compreenda os conceitos centrais, domine a derivação do processo e implemente o código.
Tokenizador de subpalavras não ganancioso e treinador de vocabulário para Python, Go, C++ e Javascript
[NeurIPS 2025 Spotlight] Um tokenizador unificado para geração e compreensão visual
Um wrapper Cython MeCab para tokenização japonesa rápida, pythonico e análise morfológica.
MOTOR DE TOKENIZADOR EFICIENTE E OTIMIZADO PARA SERVIÇO DE INFERÊNCIA DE LLM
Perguntas Frequentes
Qual é o repositório de #tokenizer mais popular no GitHub?
O projeto de código aberto de #tokenizer mais bem classificado no GitHub é rasbt/LLMs-from-scratch, com 108,745 estrelas. Implementar um LLM semelhante ao ChatGPT em PyTorch do zero, passo a passo
Quais linguagens de programação são mais usadas nos repositórios de #tokenizer?
Entre os projetos de #tokenizer mais bem classificados no GitHub, as linguagens de programação mais comuns são Python, TypeScript, JavaScript, C++.
Como é calculada a classificação dos repositórios de #tokenizer?
Acompanhamos 29 repositórios ativos de código aberto marcados com #tokenizer (com mais de 500 estrelas), totalizando 145,054 estrelas e uma média de 5,001 estrelas por repositório. As classificações são atualizadas diariamente a partir da API do GitHub.