#tokenizer Repository
Scopri 29 repository GitHub open source attivi contrassegnati con #tokenizer, che raccolgono un totale di 145,054 stelle (con una media di 5,001 stelle per progetto). Il progetto leader di questo argomento è rasbt/LLMs-from-scratch, con 108,745 stelle.
29 repository in totale
Una piccola libreria per convertire il codice sorgente PHP tokenizzato in XML (e potenzialmente altri formati)
Un kit di strumenti per la costruzione di parser C# con report di errori di alta qualità
Una micro-libreria di componenti di flusso per costruire pipeline di elaborazione JSON e JSONC personalizzate con un ingombro di memoria minimo: analizza, filtra e trasforma JSON molto più grandi della memoria disponibile con un'API di token ispirata a SAX, su Node.js o Web Streams.
Questa è una libreria Python per l'elaborazione del linguaggio naturale coreano. Fornisce funzioni per l'estrazione di parole / tokenizzatore / etichettatura POS / pre-elaborazione.
Estensione di ricerca full-text SQLite fts5 che supporta cinese e Pinyin | Un tokenizer SQLite3 fts5 che supporta cinese e Pinyin
Il codificatore-decodificatore tokenizzatore BPE JavaScript più veloce per i modelli GPT di OpenAI (gpt-5, gpt-o*, gpt-4o, ecc.). Porting di tiktoken di OpenAI con funzionalità aggiuntive.
Uno strumento di corpus integrato con supporto multilingue per lo studio della lingua, della letteratura e della traduzione
Data Labeling è uno strumento specializzato nell'elaborazione e nell'etichettatura dei dati testuali. Semplificando i comodi processi di etichettatura del testo e feedback algoritmico dinamico, supporta gli utenti nell'etichettare rapidamente le parole chiave e può ridurre continuamente i costi e il tempo di etichettatura manuale attraverso algoritmi. Il processo di etichettatura dei dati inizia prima con l'etichettatura manuale per costruire le basi, poi l'etichettatura automatica retroagisce sull'etichettatura manuale, e infine l'etichettatura manuale viene utilizzata per la correzione, al fine di migliorare notevolmente l'accuratezza e l'efficienza dell'etichettatura. Data Labeling richiede l'utilizzo di una base digitale open source per il controllo delle posizioni del personale.
Ekphrasis è uno strumento di elaborazione del testo, orientato ai testi dei social network, come Twitter o Facebook. Ekphrasis esegue la tokenizzazione, la normalizzazione delle parole, la segmentazione delle parole (per dividere gli hashtag) e la correzione ortografica, utilizzando statistiche sulle parole da 2 grandi corpora (Wikipedia inglese, twitter - 330 milioni di tweet in inglese).
Open Korean Text Processor - Un elaboratore di testi coreani open-source
Realizza il passaggio di inferenza di llama3 passo dopo passo, afferra i concetti fondamentali, padroneggia la derivazione del processo, implementa il codice.
Tokenizzatore di sottoparole non greedy e addestratore di vocabolario per Python, Go, C++ e Javascript
[NeurIPS 2025 Spotlight] Un tokenizzatore unificato per la generazione e la comprensione visiva
Un wrapper Cython MeCab per tokenizzazione giapponese veloce, pythonica e analisi morfologica.
MOTORE TOKENIZER EFFICIENTE E OTTIMIZZATO PER IL SERVING DI INFERENCE LLM
Domande frequenti
Qual è il repository #tokenizer più popolare su GitHub?
Il progetto open source #tokenizer più alto in classifica su GitHub è rasbt/LLMs-from-scratch, con 108,745 stelle. Implementa un LLM simile a ChatGPT in PyTorch da zero, passo dopo passo
Quali linguaggi di programmazione sono più utilizzati nei repository #tokenizer?
Tra i progetti #tokenizer più alti in classifica su GitHub, i linguaggi di programmazione più comuni sono Python, TypeScript, JavaScript, C++.
Come viene calcolata la classifica dei repository #tokenizer?
Monitoriamo 29 repository open source attivi contrassegnati con #tokenizer (500+ stelle), per un totale di 145,054 stelle e una media di 5,001 stelle per repository. Le classifiche vengono aggiornate quotidianamente tramite l’API di GitHub.