#tokenization Repositórios
Descubra 33 repositórios ativos de código aberto no GitHub marcados com #tokenization, acumulando um total de 183,037 estrelas (uma média de 5,546 por projeto). O líder deste tópico é shiyu-coder/Kronos, com 48,042 estrelas.
33 repositórios no total
🎒 Notação de Objetos Orientada a Tokens (TOON) – serialização compacta e legível por humanos de dados JSON para prompts de LLM. SDK TypeScript, CLI, benchmarks.
Biblioteca base para um analisador léxico que pode ser usado em analisadores sintáticos descendentes recursivos (Top-Down, Recursive Descent Parsers).
Código limpo e mínimo para o algoritmo Byte Pair Encoding (BPE) comumente usado na tokenização de LLMs.
Repositório principal do protocolo para Ridera — Mobility RWA no Base. Inclui documentação, arquitetura, contratos inteligentes e design do protocolo.
LunaSec - Scanner de Segurança de Dependências que notifica automaticamente sobre vulnerabilidades como Log4Shell ou node-ipc em seus Pull Requests e Builds. Proteja-se em 30 segundos com o Aplicativo LunaTrace GitHub: https://github.com/marketplace/lunatrace-by-lunasec/
Pacote Swift para implementar uma API no estilo transformers em Swift
Biblioteca oficial de inferência para o pré-processamento de modelos Mistral
👑 Blocos de construção e visualizadores spaCy para aplicativos Streamlit
Trankit é um Kit de Ferramentas Python Leve, baseado em Transformer, para Processamento de Linguagem Natural Multilíngue
Ekphrasis é uma ferramenta de processamento de texto, voltada para textos de redes sociais, como Twitter ou Facebook. O Ekphrasis realiza tokenização, normalização de palavras, segmentação de palavras (para dividir hashtags) e correção ortográfica, usando estatísticas de palavras de 2 grandes corpora (Wikipedia em inglês, twitter - 330 milhões de tweets em inglês).
Tokenizador de subpalavras não ganancioso e treinador de vocabulário para Python, Go, C++ e Javascript
:snake: mecab-python. Você pode encontrar a versão original aqui: http://taku910.github.io/mecab/
Pipeline de Processamento de Linguagem Natural - Divisão de Frases, Tokenização, Lematização, Rotulagem de Part-of-speech e Análise de Dependência
Reverse Engineering do tokenizador semântico de fala supervisionado (S3Tokenizer) proposto no CosyVoice
PHP Text Analysis é uma biblioteca para realizar tarefas de Recuperação de Informação (IR) e Processamento de Linguagem Natural (NLP) usando a linguagem PHP
Um daemon de camada 1, para a especificação do Protocolo Taproot Assets, escrito em Go (golang)
Página web estática que lhe permite usar a sua chave de API da OpenAI para ter a mesma experiência que obtém com o ChatGPT!
Perguntas Frequentes
Qual é o repositório de #tokenization mais popular no GitHub?
O projeto de código aberto de #tokenization mais bem classificado no GitHub é shiyu-coder/Kronos, com 48,042 estrelas. Kronos: Um Modelo Base para a Linguagem dos Mercados Financeiros
Quais linguagens de programação são mais usadas nos repositórios de #tokenization?
Entre os projetos de #tokenization mais bem classificados no GitHub, as linguagens de programação mais comuns são Python, TypeScript, PHP, Rust.
Como é calculada a classificação dos repositórios de #tokenization?
Acompanhamos 33 repositórios ativos de código aberto marcados com #tokenization (com mais de 500 estrelas), totalizando 183,037 estrelas e uma média de 5,546 estrelas por repositório. As classificações são atualizadas diariamente a partir da API do GitHub.