#tokenizer Dépôts
Découvrez 29 dépôts GitHub open source actifs associés à #tokenizer, cumulant 145,054 étoiles au total (soit une moyenne de 5,001 étoiles par projet). Le projet en tête de ce thème est rasbt/LLMs-from-scratch, avec 108,745 étoiles.
29 dépôts au total
Implémentez à partir de zéro un LLM de type ChatGPT dans PyTorch, étape par étape
Une petite bibliothèque pour convertir du code source PHP tokenisé en XML (et potentiellement d'autres formats)
Résout les tâches NLP russes de base, API pour les projets Natasha de niveau inférieur
Un kit d'outils de construction de parseur C# avec rapport d'erreurs de haute qualité
Une micro-bibliothèque de composants de flux pour construire des pipelines de traitement JSON et JSONC personnalisés avec une empreinte mémoire minimale — analysez, filtrez et transformez des fichiers JSON bien plus volumineux que la mémoire disponible grâce à une API de jetons inspirée de SAX, sur Node.js ou Web Streams.
Ceci est une bibliothèque Python pour le traitement automatique du langage naturel coréen. Elle fournit des fonctions pour l'extraction de mots / tokeniseur / étiquetage POS / prétraitement.
Générateur de tokenizer/lexer optimisé ! 🐄 Utilise /y pour les performances. Meuh.
Recherche plein texte SQLite fts5 prenant en charge le chinois et le pinyin | Un tokenizer SQLite3 fts5 qui prend en charge le chinois et le pinyin
L'encodeur-décodeur tokenizeur BPE JavaScript le plus rapide pour les modèles GPT d'OpenAI (gpt-5, gpt-o*, gpt-4o, etc.). Port de tiktoken d'OpenAI avec des fonctionnalités supplémentaires.
Un outil de corpus intégré avec support multilingue pour l'étude de la langue, de la littérature et de la traduction
L'étiquetage de données est un outil spécialement conçu pour le traitement et l'étiquetage des données textuelles. En simplifiant les processus rapides d'étiquetage de texte et le retour d'information algorithmique dynamique, il aide les utilisateurs à étiqueter rapidement les mots clés et peut réduire continuellement les coûts et le temps d'étiquetage manuel grâce à des algorithmes. Le processus d'étiquetage des données commence d'abord par un étiquetage manuel pour construire les bases, puis l'étiquetage automatique rétroagit sur l'étiquetage manuel, et enfin l'étiquetage manuel est utilisé pour la correction, afin d'améliorer considérablement la précision et l'efficacité de l'étiquetage. L'étiquetage des données nécessite de s'appuyer sur une base numérique open source pour le contrôle des postes du personnel.
Ekphrasis est un outil de traitement de texte, destiné aux textes provenant des réseaux sociaux, tels que Twitter ou Facebook. Ekphrasis effectue la tokenisation, la normalisation des mots, la segmentation des mots (pour diviser les hashtags) et la correction orthographique, en utilisant des statistiques de mots provenant de 2 grands corpus (Wikipedia anglaise, Twitter - 330 millions de tweets anglais).
Open Korean Text Processor - Un processeur de texte coréen open-source
Le générateur d'analyseur rapide pour Java™ avec prise en charge complète d'Unicode
Réalisez l'étape d'inférence de llama3 étape par étape, saisissez les concepts clés, maîtrisez la dérivation du processus, implémentez le code.
Tokeniseur de sous-mots non gourmand et entraîneur de vocabulaire pour Python, Go, C++ et Javascript
[NeurIPS 2025 Spotlight] Un tokeniseur unifié pour la génération et la compréhension visuelle
Un wrapper Cython MeCab pour une tokenisation japonaise rapide, pythonique et une analyse morphologique.
Extension VSCode pour mettre en surbrillance les blocs de code imbriqués
MOTEUR DE TOKENIZEUR EFFICACE ET OPTIMISÉ POUR LE SERVING D'INFÉRENCE LLM
Foire aux questions
Quel est le dépôt #tokenizer le plus populaire sur GitHub ?
Le projet #tokenizer open source le mieux classé sur GitHub est rasbt/LLMs-from-scratch, avec 108,745 étoiles. Implémentez à partir de zéro un LLM de type ChatGPT dans PyTorch, étape par étape
Quels langages de programmation sont les plus utilisés dans les dépôts #tokenizer ?
Parmi les projets #tokenizer les mieux classés sur GitHub, les langages de programmation les plus courants sont Python, TypeScript, JavaScript, C++.
Comment le classement des dépôts #tokenizer est-il calculé ?
Nous suivons 29 dépôts open source actifs associés à #tokenizer (500+ étoiles), totalisant 145,054 étoiles, avec une moyenne de 5,001 étoiles par dépôt. Les classements sont mis à jour quotidiennement à partir de l’API GitHub.