Git Stars Git Stars

#tokenization Repositorios

Descubre 33 repositorios activos de código abierto de GitHub etiquetados con #tokenization, que acumulan 183,037 estrellas en total (una media de 5,546 estrellas por proyecto). El líder de este tema es shiyu-coder/Kronos, con 48,042 estrellas.

33
Total de Repositorios
183,037
Total de estrellas
5,546
Promedio de Estrellas/Repo

33 repositorios en total

1
shiyu-coder/Kronos

Kronos: Un modelo fundacional para el lenguaje de los mercados financieros

shiyu-coder
⭐ 48,042 Python 👤 shiyu-coder User 🕐 Actualizado 2026-04-13 📅 Creado 2025-07-01
2
explosion/spaCy

💫 Procesamiento de Lenguaje Natural (NLP) de resistencia industrial en Python

explosion
⭐ 34,082 Python 👤 explosion Organization 🕐 Actualizado 2026-11-21 📅 Creado 2014-07-03
3
toon-format/toon

🎒 Notación de Objetos Orientada a Tokens (TOON) – serialización compacta y legible por humanos de datos JSON para indicaciones de LLM. SDK de TypeScript, CLI, benchmarks.

toon-format
⭐ 25,642 TypeScript 👤 toon-format Organization 🕐 Actualizado 2026-11-11 📅 Creado 2025-10-22
4
openai/tiktoken

tiktoken es un tokenizador BPE rápido para usar con los modelos de OpenAI.

openai
⭐ 19,698 Python 👤 openai Organization 🕐 Actualizado 2026-11-08 📅 Creado 2022-12-01
5
doctrine/lexer

Biblioteca base para un lexer que puede usarse en parsers de descenso recursivo top-down.

doctrine
⭐ 11,141 PHP 👤 doctrine Organization 🕐 Actualizado 2026-11-15 📅 Creado 2013-01-12
6
karpathy/minbpe

Código mínimo y limpio para el algoritmo Byte Pair Encoding (BPE) comúnmente utilizado en la tokenización de LLM.

karpathy
⭐ 10,241 Python 👤 karpathy User 🕐 Actualizado 2024-07-01 📅 Creado 2024-02-16
7
openai/harmony

Renderizador para el formato de respuesta harmony que se utilizará con gpt-oss

openai
⭐ 4,548 Rust 👤 openai Organization 🕐 Actualizado 2026-04-08 📅 Creado 2025-07-31
8
marcelroed/gigatoken

Tokenización de modelos de lenguaje a GB/s

marcelroed
⭐ 4,157 Rust 👤 marcelroed User 🕐 Actualizado 2026-11-02 📅 Creado 2025-11-10
9
AgentOps-AI/tokencost

Estimaciones sencillas del precio de los tokens para más de 400 LLM. TokenOps.

AgentOps-AI
⭐ 2,007 Python 👤 AgentOps-AI Organization 🕐 Actualizado 2025-09-05 📅 Creado 2023-12-03
10
apple-aiml-research/ml-4m

4M: Modelado enmascarado masivamente multimodal

apple-aiml-research
⭐ 1,814 Python 👤 apple-aiml-research Organization 🕐 Actualizado 2026-09-11 📅 Creado 2024-04-08
11
rspeer/wordfreq

Acceda a una base de datos de frecuencias de palabras, en varios idiomas naturales.

rspeer
⭐ 1,664 Python 👤 rspeer User 🕐 Actualizado 2025-01-04 📅 Creado 2013-10-28
12
Ridera-Rwa/Ridera-core

Repositorio central del protocolo para Ridera: Mobility RWA en Base. Incluye documentación, arquitectura, contratos inteligentes y diseño del protocolo.

Ridera-Rwa
⭐ 1,593 Solidity 👤 Ridera-Rwa User 🕐 Actualizado 2025-12-15 📅 Creado 2025-11-24
13
shikijs/shiki-magic-move

Bloques de código animados fluidamente con Shiki

shikijs
⭐ 1,511 TypeScript 👤 shikijs Organization 🕐 Actualizado 2026-05-19 📅 Creado 2024-02-22
14
securitybunker/databunker

Bóveda Segura para Registros de PII/PHI/PCI/KYC del Cliente

securitybunker
⭐ 1,498 Go 👤 securitybunker Organization 🕐 Actualizado 2026-11-20 📅 Creado 2019-12-08
15
lunasec-io/lunasec

LunaSec: el escáner de seguridad de dependencias que le notifica automáticamente sobre vulnerabilidades como Log4Shell o node-ipc en sus Pull Requests y Builds. Protéjase en 30 segundos con la aplicación LunaTrace para GitHub: https://github.com/marketplace/lunatrace-by-lunasec/

lunasec-io
⭐ 1,461 TypeScript 👤 lunasec-io Organization 🕐 Actualizado 2024-05-02 📅 Creado 2021-03-16
16
huggingface/swift-transformers

Paquete de Swift para implementar una API similar a transformers en Swift

huggingface
⭐ 1,366 Swift 👤 huggingface Organization 🕐 Actualizado 2026-11-06 📅 Creado 2023-05-11
17
tensorflow/text

Haciendo del texto un ciudadano de primera clase en TensorFlow.

tensorflow
⭐ 1,299 C++ 👤 tensorflow Organization 🕐 Actualizado 2026-11-19 📅 Creado 2019-05-29
18
RavenProject/Ravencoin

Árbol de integración/preparación de Ravencoin Core

RavenProject
⭐ 1,122 C 👤 RavenProject Organization 🕐 Actualizado 2026-08-18 📅 Creado 2017-07-09
19
mistralai/mistral-common

Biblioteca de inferencia oficial para el preprocesamiento de modelos Mistral

mistralai
⭐ 965 Python 👤 mistralai Organization 🕐 Actualizado 2026-11-19 📅 Creado 2024-04-15
20
servo/rust-cssparser

Implementación en Rust de CSS Syntax Level 3

servo
⭐ 875 Rust 👤 servo Organization 🕐 Actualizado 2026-11-18 📅 Creado 2013-07-10
21
KennFalcon/elasticsearch-analysis-hanlp

Analizador HanLP para Elasticsearch

KennFalcon
⭐ 854 Java 👤 KennFalcon User 🕐 Actualizado 2024-07-12 📅 Creado 2017-03-04
22
explosion/spacy-streamlit

👑 Bloques de construcción y visualizadores de spaCy para aplicaciones de Streamlit

explosion
⭐ 849 Python 👤 explosion Organization 🕐 Actualizado 2024-07-29 📅 Creado 2020-06-23
23
nlp-uoregon/trankit

Trankit es un kit de herramientas Python ligero basado en Transformer para el procesamiento multilingüe del lenguaje natural

nlp-uoregon
⭐ 795 Python 👤 nlp-uoregon User 🕐 Actualizado 2025-07-22 📅 Creado 2021-01-08
24
angeloskath/php-nlp-tools

Herramientas de Procesamiento de Lenguaje Natural en PHP

angeloskath
⭐ 762 PHP 👤 angeloskath User 🕐 Actualizado 2024-07-22 📅 Creado 2012-08-22
25
cbaziotis/ekphrasis

Ekphrasis es una herramienta de procesamiento de texto, orientada a textos de redes sociales, como Twitter o Facebook. Ekphrasis realiza tokenización, normalización de palabras, segmentación de palabras (para dividir hashtags) y corrección ortográfica, utilizando estadísticas de palabras de 2 grandes corpus (Wikipedia en inglés, twitter - 330 millones de tuits en inglés).

cbaziotis
⭐ 676 Python 👤 cbaziotis User 🕐 Actualizado 2025-06-02 📅 Creado 2017-02-07
26
alasdairforsythe/tokenmonster

Tokenizador de subpalabras no codicioso y entrenador de vocabulario para Python, Go, C++ y Javascript

alasdairforsythe
⭐ 626 Go 👤 alasdairforsythe User 🕐 Actualizado 2026-07-10 📅 Creado 2023-05-12
27
SamuraiT/mecab-python3

:snake: mecab-python. Puedes encontrar la versión original aquí: http://taku910.github.io/mecab/

SamuraiT
⭐ 579 C++ 👤 SamuraiT User 🕐 Actualizado 2025-11-25 📅 Creado 2014-05-31
28
adobe/NLP-Cube

Pipeline de Procesamiento de Lenguaje Natural - División de Oraciones, Tokenización, Lemmatización, Etiquetado de Partes del Discurso y Análisis de Dependencias

adobe
⭐ 561 HTML 👤 adobe Organization 🕐 Actualizado 2024-11-03 📅 Creado 2018-03-13
29
cl-tohoku/bert-japanese

Modelos BERT para texto japonés.

cl-tohoku
⭐ 540 Python 👤 cl-tohoku Organization 🕐 Actualizado 2024-03-23 📅 Creado 2019-11-14
30
xingchensong/S3Tokenizer

Ingeniería inversa del tokenizador semántico de habla supervisado (S3Tokenizer) propuesto en CosyVoice

xingchensong
⭐ 536 Python 👤 xingchensong User 🕐 Actualizado 2026-11-01 📅 Creado 2024-09-09
31
yooper/php-text-analysis

PHP Text Analysis es una biblioteca para realizar tareas de Recuperación de Información (IR) y Procesamiento del Lenguaje Natural (NLP) utilizando el lenguaje PHP

yooper
⭐ 531 PHP 👤 yooper User 🕐 Actualizado 2024-12-28 📅 Creado 2012-05-21
32
lightninglabs/taproot-assets

Un demonio de capa 1, para la especificación del Protocolo Taproot Assets, escrito en Go (golang)

lightninglabs
⭐ 529 Go 👤 lightninglabs Organization 🕐 Actualizado 2026-11-17 📅 Creado 2022-04-11
33
patrikzudel/PatrikZeros-ChatGPT-API-UI

¡Página web estática que te permite usar tu clave API de OpenAI para la misma experiencia que obtienes con ChatGPT!

patrikzudel
⭐ 508 Svelte 👤 patrikzudel User 🕐 Actualizado 2024-01-08 📅 Creado 2023-03-07

Preguntas frecuentes

1

¿Cuál es el repositorio de #tokenization más popular en GitHub?

El proyecto de código abierto de #tokenization mejor posicionado en GitHub es shiyu-coder/Kronos, con 48,042 estrellas. Kronos: Un modelo fundacional para el lenguaje de los mercados financieros

2

¿Qué lenguajes de programación se utilizan más en los repositorios de #tokenization?

Entre los proyectos de #tokenization mejor posicionados en GitHub, los lenguajes de programación más comunes son Python, TypeScript, PHP, Rust.

3

¿Cómo se calcula la clasificación de los repositorios de #tokenization?

Seguimos 33 repositorios activos de código abierto etiquetados con #tokenization (500+ estrellas), que suman un total de 183,037 estrellas, con una media de 5,546 estrellas por repositorio. Las clasificaciones se actualizan diariamente a partir de la API de GitHub.