#tokenization Repository
Scopri 33 repository GitHub open source attivi contrassegnati con #tokenization, che raccolgono un totale di 183,037 stelle (con una media di 5,546 stelle per progetto). Il progetto leader di questo argomento è shiyu-coder/Kronos, con 48,042 stelle.
33 repository in totale
🎒 Notazione a Oggetti Orientata ai Token (TOON) – serializzazione compatta e leggibile dall'uomo di dati JSON per prompt LLM. SDK TypeScript, CLI, benchmark.
Libreria di base per un lexer che può essere utilizzato in parser top-down a discesa ricorsiva.
Codice minimale e pulito per l'algoritmo Byte Pair Encoding (BPE) comunemente utilizzato nella tokenizzazione LLM.
Repository del protocollo principale per Ridera — Mobility RWA su Base. Include documentazione, architettura, smart contract e progettazione del protocollo.
LunaSec – Dependency Security Scanner che ti avvisa automaticamente di vulnerabilità come Log4Shell o node-ipc nelle tue Pull Request e Build. Proteggiti in 30 secondi con l'app LunaTrace per GitHub: https://github.com/marketplace/lunatrace-by-lunasec/
Pacchetto Swift per implementare un'API simile a transformers in Swift
Libreria di inferenza ufficiale per il pre-processing dei modelli Mistral
Trankit è un toolkit Python leggero basato su Transformer per l'elaborazione del linguaggio naturale multilingue
Ekphrasis è uno strumento di elaborazione del testo, orientato ai testi dei social network, come Twitter o Facebook. Ekphrasis esegue la tokenizzazione, la normalizzazione delle parole, la segmentazione delle parole (per dividere gli hashtag) e la correzione ortografica, utilizzando statistiche sulle parole da 2 grandi corpora (Wikipedia inglese, twitter - 330 milioni di tweet in inglese).
Tokenizzatore di sottoparole non greedy e addestratore di vocabolario per Python, Go, C++ e Javascript
:snake: mecab-python. Puoi trovare la versione originale qui: http://taku910.github.io/mecab/
Pipeline di Elaborazione del Linguaggio Naturale - Suddivisione delle Frasi, Tokenizzazione, Lemmatizzazione, Etichettatura delle Parti del Discorso e Analisi delle Dipendenze
Reverse Engineering del Tokenizer semantico di voce supervisato (S3Tokenizer) proposto in CosyVoice
PHP Text Analysis è una libreria per eseguire compiti di Recupero delle Informazioni (IR) e Elaborazione del Linguaggio Naturale (NLP) utilizzando il linguaggio PHP
Un demone di livello 1, per la specifica del protocollo Taproot Assets, scritto in Go (golang)
Pagina web statica che ti consente di utilizzare la tua chiave API OpenAI per la stessa esperienza che ottieni con ChatGPT!
Domande frequenti
Qual è il repository #tokenization più popolare su GitHub?
Il progetto open source #tokenization più alto in classifica su GitHub è shiyu-coder/Kronos, con 48,042 stelle. Kronos: Un modello di fondazione per il linguaggio dei mercati finanziari
Quali linguaggi di programmazione sono più utilizzati nei repository #tokenization?
Tra i progetti #tokenization più alti in classifica su GitHub, i linguaggi di programmazione più comuni sono Python, TypeScript, PHP, Rust.
Come viene calcolata la classifica dei repository #tokenization?
Monitoriamo 33 repository open source attivi contrassegnati con #tokenization (500+ stelle), per un totale di 183,037 stelle e una media di 5,546 stelle per repository. Le classifiche vengono aggiornate quotidianamente tramite l’API di GitHub.