#tokenization Repositorios
Descubre 33 repositorios activos de código abierto de GitHub etiquetados con #tokenization, que acumulan 183,037 estrellas en total (una media de 5,546 estrellas por proyecto). El líder de este tema es shiyu-coder/Kronos, con 48,042 estrellas.
33 repositorios en total
🎒 Notación de Objetos Orientada a Tokens (TOON) – serialización compacta y legible por humanos de datos JSON para indicaciones de LLM. SDK de TypeScript, CLI, benchmarks.
Biblioteca base para un lexer que puede usarse en parsers de descenso recursivo top-down.
Código mínimo y limpio para el algoritmo Byte Pair Encoding (BPE) comúnmente utilizado en la tokenización de LLM.
Estimaciones sencillas del precio de los tokens para más de 400 LLM. TokenOps.
Acceda a una base de datos de frecuencias de palabras, en varios idiomas naturales.
Repositorio central del protocolo para Ridera: Mobility RWA en Base. Incluye documentación, arquitectura, contratos inteligentes y diseño del protocolo.
LunaSec: el escáner de seguridad de dependencias que le notifica automáticamente sobre vulnerabilidades como Log4Shell o node-ipc en sus Pull Requests y Builds. Protéjase en 30 segundos con la aplicación LunaTrace para GitHub: https://github.com/marketplace/lunatrace-by-lunasec/
Paquete de Swift para implementar una API similar a transformers en Swift
Biblioteca de inferencia oficial para el preprocesamiento de modelos Mistral
👑 Bloques de construcción y visualizadores de spaCy para aplicaciones de Streamlit
Trankit es un kit de herramientas Python ligero basado en Transformer para el procesamiento multilingüe del lenguaje natural
Ekphrasis es una herramienta de procesamiento de texto, orientada a textos de redes sociales, como Twitter o Facebook. Ekphrasis realiza tokenización, normalización de palabras, segmentación de palabras (para dividir hashtags) y corrección ortográfica, utilizando estadísticas de palabras de 2 grandes corpus (Wikipedia en inglés, twitter - 330 millones de tuits en inglés).
Tokenizador de subpalabras no codicioso y entrenador de vocabulario para Python, Go, C++ y Javascript
:snake: mecab-python. Puedes encontrar la versión original aquí: http://taku910.github.io/mecab/
Pipeline de Procesamiento de Lenguaje Natural - División de Oraciones, Tokenización, Lemmatización, Etiquetado de Partes del Discurso y Análisis de Dependencias
Ingeniería inversa del tokenizador semántico de habla supervisado (S3Tokenizer) propuesto en CosyVoice
PHP Text Analysis es una biblioteca para realizar tareas de Recuperación de Información (IR) y Procesamiento del Lenguaje Natural (NLP) utilizando el lenguaje PHP
Un demonio de capa 1, para la especificación del Protocolo Taproot Assets, escrito en Go (golang)
¡Página web estática que te permite usar tu clave API de OpenAI para la misma experiencia que obtienes con ChatGPT!
Preguntas frecuentes
¿Cuál es el repositorio de #tokenization más popular en GitHub?
El proyecto de código abierto de #tokenization mejor posicionado en GitHub es shiyu-coder/Kronos, con 48,042 estrellas. Kronos: Un modelo fundacional para el lenguaje de los mercados financieros
¿Qué lenguajes de programación se utilizan más en los repositorios de #tokenization?
Entre los proyectos de #tokenization mejor posicionados en GitHub, los lenguajes de programación más comunes son Python, TypeScript, PHP, Rust.
¿Cómo se calcula la clasificación de los repositorios de #tokenization?
Seguimos 33 repositorios activos de código abierto etiquetados con #tokenization (500+ estrellas), que suman un total de 183,037 estrellas, con una media de 5,546 estrellas por repositorio. Las clasificaciones se actualizan diariamente a partir de la API de GitHub.