#tokenizer Repositorios
Descubre 29 repositorios activos de código abierto de GitHub etiquetados con #tokenizer, que acumulan 145,054 estrellas en total (una media de 5,001 estrellas por proyecto). El líder de este tema es rasbt/LLMs-from-scratch, con 108,745 estrellas.
29 repositorios en total
Una pequeña biblioteca para convertir código fuente PHP tokenizado en XML (y potencialmente otros formatos)
Resuelve tareas básicas de PNL en ruso, API para proyectos de Natasha de nivel inferior
Un kit de herramientas para la construcción de analizadores C# con informes de errores de alta calidad
Una microlibrería de componentes de flujo para construir pipelines de procesamiento JSON y JSONC personalizados con un consumo mínimo de memoria: analice, filtre y transforme JSON mucho más grande que la memoria disponible con una API de tokens inspirada en SAX, en Node.js o Web Streams.
Esta es una biblioteca de Python para el procesamiento de lenguaje natural en coreano. Proporciona funciones de extracción de palabras / tokenizador / etiquetado de POS / preprocesamiento.
Extensión de búsqueda de texto completo SQLite fts5 que soporta chino y Pinyin | Un tokenizador SQLite3 fts5 que soporta chino y Pinyin
El codificador decodificador tokenizador BPE de JavaScript más rápido para los modelos GPT de OpenAI (gpt-5, gpt-o*, gpt-4o, etc.). Versión port de tiktoken de OpenAI con funciones adicionales.
Una herramienta de corpus integrada con soporte multilingüe para el estudio del idioma, la literatura y la traducción
El etiquetado de datos es una herramienta especializada en el procesamiento y etiquetado de datos de texto. A través de la simplificación de procesos rápidos de etiquetado de texto y retroalimentación algorítmica dinámica, admite a los usuarios para etiquetar rápidamente palabras clave y puede reducir continuamente los costos y el tiempo de etiquetado manual a través de algoritmos. El proceso de etiquetado de datos primero se basa en el etiquetado manual para construir la base, luego el etiquetado automático retroalimenta el etiquetado manual, y finalmente el etiquetado manual se utiliza para la corrección, para mejorar en gran medida la precisión y la eficiencia del etiquetado. El etiquetado de datos requiere depender de una base digital de código abierto para el control de puestos de personal.
Ekphrasis es una herramienta de procesamiento de texto, orientada a textos de redes sociales, como Twitter o Facebook. Ekphrasis realiza tokenización, normalización de palabras, segmentación de palabras (para dividir hashtags) y corrección ortográfica, utilizando estadísticas de palabras de 2 grandes corpus (Wikipedia en inglés, twitter - 330 millones de tuits en inglés).
Open Korean Text Processor - Un procesador de texto coreano de código abierto
Logra el paso de inferencia de llama3 paso a paso, comprende los conceptos centrales, domina la derivación del proceso, implementa el código.
Tokenizador de subpalabras no codicioso y entrenador de vocabulario para Python, Go, C++ y Javascript
[NeurIPS 2025 Spotlight] Un tokenizador unificado para la generación y comprensión visual
Un envoltorio Cython MeCab para tokenización japonesa rápida, pythonica y análisis morfológico.
MOTOR DE TOKENIZADOR EFICIENTE Y OPTIMIZADO PARA SERVICIO DE INFERENCE DE LLM
Preguntas frecuentes
¿Cuál es el repositorio de #tokenizer más popular en GitHub?
El proyecto de código abierto de #tokenizer mejor posicionado en GitHub es rasbt/LLMs-from-scratch, con 108,745 estrellas. Implementa un LLM similar a ChatGPT en PyTorch desde cero, paso a paso
¿Qué lenguajes de programación se utilizan más en los repositorios de #tokenizer?
Entre los proyectos de #tokenizer mejor posicionados en GitHub, los lenguajes de programación más comunes son Python, TypeScript, JavaScript, C++.
¿Cómo se calcula la clasificación de los repositorios de #tokenizer?
Seguimos 29 repositorios activos de código abierto etiquetados con #tokenizer (500+ estrellas), que suman un total de 145,054 estrellas, con una media de 5,001 estrellas por repositorio. Las clasificaciones se actualizan diariamente a partir de la API de GitHub.