Git Stars Git Stars

#tokenizer Repositorios

Descubre 29 repositorios activos de código abierto de GitHub etiquetados con #tokenizer, que acumulan 145,054 estrellas en total (una media de 5,001 estrellas por proyecto). El líder de este tema es rasbt/LLMs-from-scratch, con 108,745 estrellas.

29
Total de Repositorios
145,054
Total de estrellas
5,001
Promedio de Estrellas/Repo

29 repositorios en total

1
rasbt/LLMs-from-scratch

Implementa un LLM similar a ChatGPT en PyTorch desde cero, paso a paso

rasbt
⭐ 108,745 Jupyter Notebook 👤 rasbt User 🕐 Actualizado 2026-11-20 📅 Creado 2023-07-23
2
theseer/tokenizer

Una pequeña biblioteca para convertir código fuente PHP tokenizado en XML (y potencialmente otros formatos)

theseer
⭐ 5,190 PHP 👤 theseer User 🕐 Actualizado 2026-02-03 📅 Creado 2017-04-05
3
marcelroed/gigatoken

Tokenización de modelos de lenguaje a GB/s

marcelroed
⭐ 4,157 Rust 👤 marcelroed User 🕐 Actualizado 2026-11-02 📅 Creado 2025-11-10
4
andialbrecht/sqlparse

Un módulo de analizador SQL no validante para Python

andialbrecht
⭐ 4,023 Python 👤 andialbrecht User 🕐 Actualizado 2026-11-01 📅 Creado 2012-04-18
5
Chevrotain/chevrotain

Kit de herramientas para construir analizadores para JavaScript

Chevrotain
⭐ 2,820 TypeScript 👤 Chevrotain Organization 🕐 Actualizado 2026-11-21 📅 Creado 2015-04-15
6
dqbd/tiktokenizer

Área de juegos en línea para tokenizadores de OpenAPI

dqbd
⭐ 1,605 TypeScript 👤 dqbd User 🕐 Actualizado 2025-04-24 📅 Creado 2023-03-02
7
roshan-research/hazm

Toolkit NLP persa

roshan-research
⭐ 1,435 Python 👤 roshan-research Organization 🕐 Actualizado 2026-04-01 📅 Creado 2013-10-29
8
natasha/natasha

Resuelve tareas básicas de PNL en ruso, API para proyectos de Natasha de nivel inferior

natasha
⭐ 1,364 Python 👤 natasha Organization 🕐 Actualizado 2026-10-14 📅 Creado 2016-08-03
9
datalust/superpower

Un kit de herramientas para la construcción de analizadores C# con informes de errores de alta calidad

datalust
⭐ 1,345 C# 👤 datalust Organization 🕐 Actualizado 2026-05-20 📅 Creado 2016-09-01
10
uhop/stream-json

Una microlibrería de componentes de flujo para construir pipelines de procesamiento JSON y JSONC personalizados con un consumo mínimo de memoria: analice, filtre y transforme JSON mucho más grande que la memoria disponible con una API de tokens inspirada en SAX, en Node.js o Web Streams.

uhop
⭐ 1,209 JavaScript 👤 uhop User 🕐 Actualizado 2026-11-20 📅 Creado 2013-08-11
11
lovit/soynlp

Esta es una biblioteca de Python para el procesamiento de lenguaje natural en coreano. Proporciona funciones de extracción de palabras / tokenizador / etiquetado de POS / preprocesamiento.

lovit
⭐ 996 Python 👤 lovit User 🕐 Actualizado 2026-10-04 📅 Creado 2017-05-13
12
ikawaha/kagome

Analizador morfológico japonés autónomo escrito en Go puro

ikawaha
⭐ 988 Go 👤 ikawaha User 🕐 Actualizado 2026-11-20 📅 Creado 2014-06-26
13
no-context/moo

¡Generador de tokenizer/lexer optimizado! 🐄 Usa /y para rendimiento. Muu.

no-context
⭐ 884 JavaScript 👤 no-context Organization 🕐 Actualizado 2026-02-27 📅 Creado 2017-03-10
14
wangfenjin/simple

Extensión de búsqueda de texto completo SQLite fts5 que soporta chino y Pinyin | Un tokenizador SQLite3 fts5 que soporta chino y Pinyin

wangfenjin
⭐ 877 C++ 👤 wangfenjin User 🕐 Actualizado 2026-05-17 📅 Creado 2020-03-03
15
niieani/gpt-tokenizer

El codificador decodificador tokenizador BPE de JavaScript más rápido para los modelos GPT de OpenAI (gpt-5, gpt-o*, gpt-4o, etc.). Versión port de tiktoken de OpenAI con funciones adicionales.

niieani
⭐ 862 TypeScript 👤 niieani User 🕐 Actualizado 2026-11-10 📅 Creado 2023-03-22
16
BLKSerene/Wordless

Una herramienta de corpus integrada con soporte multilingüe para el estudio del idioma, la literatura y la traducción

BLKSerene
⭐ 762 Python 👤 BLKSerene User 🕐 Actualizado 2025-10-30 📅 Creado 2018-08-23
17
lindera/lindera

Una biblioteca de análisis morfológico multilingüe.

lindera
⭐ 708 Rust 👤 lindera Organization 🕐 Actualizado 2026-11-21 📅 Creado 2020-01-22
18
risesoft-y9/Data-Labeling

El etiquetado de datos es una herramienta especializada en el procesamiento y etiquetado de datos de texto. A través de la simplificación de procesos rápidos de etiquetado de texto y retroalimentación algorítmica dinámica, admite a los usuarios para etiquetar rápidamente palabras clave y puede reducir continuamente los costos y el tiempo de etiquetado manual a través de algoritmos. El proceso de etiquetado de datos primero se basa en el etiquetado manual para construir la base, luego el etiquetado automático retroalimenta el etiquetado manual, y finalmente el etiquetado manual se utiliza para la corrección, para mejorar en gran medida la precisión y la eficiencia del etiquetado. El etiquetado de datos requiere depender de una base digital de código abierto para el control de puestos de personal.

risesoft-y9
⭐ 695 Java 👤 risesoft-y9 Organization 🕐 Actualizado 2025-06-23 📅 Creado 2024-08-26
19
cbaziotis/ekphrasis

Ekphrasis es una herramienta de procesamiento de texto, orientada a textos de redes sociales, como Twitter o Facebook. Ekphrasis realiza tokenización, normalización de palabras, segmentación de palabras (para dividir hashtags) y corrección ortográfica, utilizando estadísticas de palabras de 2 grandes corpus (Wikipedia en inglés, twitter - 330 millones de tuits en inglés).

cbaziotis
⭐ 676 Python 👤 cbaziotis User 🕐 Actualizado 2025-06-02 📅 Creado 2017-02-07
20
open-korean-text/open-korean-text

Open Korean Text Processor - Un procesador de texto coreano de código abierto

open-korean-text
⭐ 651 Scala 👤 open-korean-text Organization 🕐 Actualizado 2024-03-12 📅 Creado 2017-01-24
21
jflex-de/jflex

El generador de escáneres rápido para Java™ con soporte completo de Unicode

jflex-de
⭐ 637 Java 👤 jflex-de Organization 🕐 Actualizado 2026-11-21 📅 Creado 2015-02-15
22
therealoliver/Deepdive-llama3-from-scratch

Logra el paso de inferencia de llama3 paso a paso, comprende los conceptos centrales, domina la derivación del proceso, implementa el código.

therealoliver
⭐ 629 Jupyter Notebook 👤 therealoliver User 🕐 Actualizado 2025-02-24 📅 Creado 2025-02-19
23
alasdairforsythe/tokenmonster

Tokenizador de subpalabras no codicioso y entrenador de vocabulario para Python, Go, C++ y Javascript

alasdairforsythe
⭐ 626 Go 👤 alasdairforsythe User 🕐 Actualizado 2026-07-10 📅 Creado 2023-05-12
24
glayzzle/php-parser

Analizador PHP para NodeJS: extraer AST o tokens

glayzzle
⭐ 564 JavaScript 👤 glayzzle Organization 🕐 Actualizado 2026-10-30 📅 Creado 2014-12-07
25
lydell/js-tokens

Pequeño tokenizador de JavaScript.

lydell
⭐ 557 JavaScript 👤 lydell User 🕐 Actualizado 2026-11-21 📅 Creado 2014-03-08
26
FoundationVision/UniTok

[NeurIPS 2025 Spotlight] Un tokenizador unificado para la generación y comprensión visual

FoundationVision
⭐ 537 Python 👤 FoundationVision Organization 🕐 Actualizado 2025-11-14 📅 Creado 2025-02-27
27
polm/fugashi

Un envoltorio Cython MeCab para tokenización japonesa rápida, pythonica y análisis morfológico.

polm
⭐ 536 C++ 👤 polm User 🕐 Actualizado 2025-10-24 📅 Creado 2019-10-14
28
leodevbro/vscode-blockman

Extensión de VSCode para resaltar bloques de código anidados

leodevbro
⭐ 514 TypeScript 👤 leodevbro User 🕐 Actualizado 2026-11-07 📅 Creado 2021-05-12
29
NLPOptimize/flash-tokenizer

MOTOR DE TOKENIZADOR EFICIENTE Y OPTIMIZADO PARA SERVICIO DE INFERENCE DE LLM

NLPOptimize
⭐ 509 C++ 👤 NLPOptimize Organization 🕐 Actualizado 2026-02-02 📅 Creado 2025-03-09

Preguntas frecuentes

1

¿Cuál es el repositorio de #tokenizer más popular en GitHub?

El proyecto de código abierto de #tokenizer mejor posicionado en GitHub es rasbt/LLMs-from-scratch, con 108,745 estrellas. Implementa un LLM similar a ChatGPT en PyTorch desde cero, paso a paso

2

¿Qué lenguajes de programación se utilizan más en los repositorios de #tokenizer?

Entre los proyectos de #tokenizer mejor posicionados en GitHub, los lenguajes de programación más comunes son Python, TypeScript, JavaScript, C++.

3

¿Cómo se calcula la clasificación de los repositorios de #tokenizer?

Seguimos 29 repositorios activos de código abierto etiquetados con #tokenizer (500+ estrellas), que suman un total de 145,054 estrellas, con una media de 5,001 estrellas por repositorio. Las clasificaciones se actualizan diariamente a partir de la API de GitHub.