Git Stars Git Stars

#tokenizer 저장소

#tokenizer 태그가 지정된 GitHub의 활성 오픈 소스 저장소 29개를 확인해 보세요. 총 145,054개의 스타를 획득했으며 프로젝트당 평균 5,001개입니다. 이 주제를 이끄는 저장소는 108,745개의 스타를 받은 rasbt/LLMs-from-scratch입니다.

29
총 리포지토리
145,054
총 별점
5,001
리포지토리당 평균 스타 수

저장소 총 29개

1
rasbt/LLMs-from-scratch

PyTorch에서 ChatGPT와 유사한 LLM을 처음부터 단계별로 구현하기

rasbt
⭐ 108,745 Jupyter Notebook 👤 rasbt User 🕐 업데이트됨 2026-11-20 📅 생성됨 2023-07-23
2
theseer/tokenizer

토큰화된 PHP 소스 코드를 XML(및 잠재적으로 다른 형식)으로 변환하는 작은 라이브러리

theseer
⭐ 5,190 PHP 👤 theseer User 🕐 업데이트됨 2026-02-03 📅 생성됨 2017-04-05
3
marcelroed/gigatoken

GB/s 속도의 언어 모델 토큰화

marcelroed
⭐ 4,157 Rust 👤 marcelroed User 🕐 업데이트됨 2026-11-02 📅 생성됨 2025-11-10
4
andialbrecht/sqlparse

Python용 비유효성 검증 SQL 파서 모듈

andialbrecht
⭐ 4,023 Python 👤 andialbrecht User 🕐 업데이트됨 2026-11-01 📅 생성됨 2012-04-18
5
Chevrotain/chevrotain

JavaScript용 파서 빌딩 툴킷

Chevrotain
⭐ 2,820 TypeScript 👤 Chevrotain Organization 🕐 업데이트됨 2026-11-21 📅 생성됨 2015-04-15
6
dqbd/tiktokenizer

OpenAPI 토크나이저 온라인 플레이스라운드

dqbd
⭐ 1,605 TypeScript 👤 dqbd User 🕐 업데이트됨 2025-04-24 📅 생성됨 2023-03-02
7
roshan-research/hazm

페르시아어 NLP 툴킷

roshan-research
⭐ 1,435 Python 👤 roshan-research Organization 🕐 업데이트됨 2026-04-01 📅 생성됨 2013-10-29
8
natasha/natasha

기본 러시아어 NLP 작업을 해결하며, 하위 Natasha 프로젝트를 위한 API

natasha
⭐ 1,364 Python 👤 natasha Organization 🕐 업데이트됨 2026-10-14 📅 생성됨 2016-08-03
9
datalust/superpower

고품질 오류 보고 기능을 갖춘 C# 파서 구성 툴킷

datalust
⭐ 1,345 C# 👤 datalust Organization 🕐 업데이트됨 2026-05-20 📅 생성됨 2016-09-01
10
uhop/stream-json

최소한의 메모리 사용량으로 사용자 지정 JSON 및 JSONC 처리 파이프라인을 구축하기 위한 스트림 구성 요소의 마이크로 라이브러리입니다. Node.js 또는 웹 스트림에서 SAX 스타일의 토큰 API를 사용하여 사용 가능한 메모리보다 훨씬 큰 JSON을 구문 분석, 필터링 및 변환할 수 있습니다.

uhop
⭐ 1,209 JavaScript 👤 uhop User 🕐 업데이트됨 2026-11-20 📅 생성됨 2013-08-11
11
lovit/soynlp

한국어 자연어처리를 위한 파이썬 라이브러리입니다. 단어 추출/ 토크나이저 / 품사판별/ 전처리의 기능을 제공합니다.

lovit
⭐ 996 Python 👤 lovit User 🕐 업데이트됨 2026-10-04 📅 생성됨 2017-05-13
12
ikawaha/kagome

순수 Go로 작성된 독립형 일본어 형태소 분석기

ikawaha
⭐ 988 Go 👤 ikawaha User 🕐 업데이트됨 2026-11-20 📅 생성됨 2014-06-26
13
no-context/moo

최적화된 토크나이저/렉서 생성기! 🐄 성능을 위해 /y 사용. 음메.

no-context
⭐ 884 JavaScript 👤 no-context Organization 🕐 업데이트됨 2026-02-27 📅 생성됨 2017-03-10
14
wangfenjin/simple

중국어 및 병음을 지원하는 SQLite fts5 전문 검색 확장 | 중국어 및 병음을 지원하는 SQLite3 fts5 토크나이저

wangfenjin
⭐ 877 C++ 👤 wangfenjin User 🕐 업데이트됨 2026-05-17 📅 생성됨 2020-03-03
15
niieani/gpt-tokenizer

OpenAI의 GPT 모델(gpt-5, gpt-o*, gpt-4o 등)을 위한 가장 빠른 JavaScript BPE 토크나이저 인코더 디코더. 추가 기능이 있는 OpenAI의 tiktoken 포트.

niieani
⭐ 862 TypeScript 👤 niieani User 🕐 업데이트됨 2026-11-10 📅 생성됨 2023-03-22
16
BLKSerene/Wordless

언어, 문학, 번역 연구를 위한 다국어 지원 통합 코퍼스 도구

BLKSerene
⭐ 762 Python 👤 BLKSerene User 🕐 업데이트됨 2025-10-30 📅 생성됨 2018-08-23
17
lindera/lindera

다국어 형태소 분석 라이브러리.

lindera
⭐ 708 Rust 👤 lindera Organization 🕐 업데이트됨 2026-11-21 📅 생성됨 2020-01-22
18
risesoft-y9/Data-Labeling

데이터 라벨링은 텍스트 데이터를 처리하고 라벨링하는 전문 도구로, 편리하고 빠른 텍스트 라벨링 프로세스와 동적 알고리즘 피드백을 통해 사용자가 키워드를 신속하게 라벨링하도록 지원하며, 알고리즘을 통해 수동 라벨링의 비용과 시간을 지속적으로 줄일 수 있습니다. 데이터 라벨링 과정은 먼저 수동 라벨링으로 기초를 구축하고, 다음으로 자동 라벨링이 수동 라벨링에 피드백하며, 마지막으로 수동 라벨링으로 오류를 수정하여 라벨링의 정확성과 효율성을 대폭 향상시킵니다. 데이터 라벨링은 인력 직책 관리를 위해 오픈 소스 디지털 기반에 의존해야 합니다.

risesoft-y9
⭐ 695 Java 👤 risesoft-y9 Organization 🕐 업데이트됨 2025-06-23 📅 생성됨 2024-08-26
19
cbaziotis/ekphrasis

Ekphrasis는 Twitter 또는 Facebook과 같은 소셜 네트워크의 텍스트를 대상으로 하는 텍스트 처리 도구입니다. Ekphrasis는 2개의 대규모 코퍼스(영어 위키백과, 트위터 - 3억 3천만 건의 영어 트윗)의 단어 통계를 사용하여 토큰화, 단어 정규화, 단어 분할(해시태그 분리용) 및 철자 교정을 수행합니다.

cbaziotis
⭐ 676 Python 👤 cbaziotis User 🕐 업데이트됨 2025-06-02 📅 생성됨 2017-02-07
20
open-korean-text/open-korean-text

Open Korean Text Processor - 오픈 소스 한국어 텍스트 프로세서

open-korean-text
⭐ 651 Scala 👤 open-korean-text Organization 🕐 업데이트됨 2024-03-12 📅 생성됨 2017-01-24
21
jflex-de/jflex

완전한 유니코드 지원을 갖춘 Java™용 빠른 스캐너 생성기

jflex-de
⭐ 637 Java 👤 jflex-de Organization 🕐 업데이트됨 2026-11-21 📅 생성됨 2015-02-15
22
therealoliver/Deepdive-llama3-from-scratch

llama3 추론 단계를 단계별로 달성하고 핵심 개념을 파악하며 프로세스 유도를 마스터하고 코드를 구현합니다.

therealoliver
⭐ 629 Jupyter Notebook 👤 therealoliver User 🕐 업데이트됨 2025-02-24 📅 생성됨 2025-02-19
23
alasdairforsythe/tokenmonster

Python, Go, C++ 및 Javascript를 위한 비탐욕적 하위 단어 토크나이저 및 어휘 훈련기

alasdairforsythe
⭐ 626 Go 👤 alasdairforsythe User 🕐 업데이트됨 2026-07-10 📅 생성됨 2023-05-12
24
glayzzle/php-parser

NodeJS PHP 파서 - AST 또는 토큰 추출

glayzzle
⭐ 564 JavaScript 👤 glayzzle Organization 🕐 업데이트됨 2026-10-30 📅 생성됨 2014-12-07
25
lydell/js-tokens

작은 JavaScript 토크나이저.

lydell
⭐ 557 JavaScript 👤 lydell User 🕐 업데이트됨 2026-11-21 📅 생성됨 2014-03-08
26
FoundationVision/UniTok

[NeurIPS 2025 Spotlight] 시각 생성 및 이해를 위한 통합 토크나이저

FoundationVision
⭐ 537 Python 👤 FoundationVision Organization 🕐 업데이트됨 2025-11-14 📅 생성됨 2025-02-27
27
polm/fugashi

빠르고 파이썬식 일본어 토큰화 및 형태소 분석을 위한 Cython MeCab 래퍼입니다.

polm
⭐ 536 C++ 👤 polm User 🕐 업데이트됨 2025-10-24 📅 생성됨 2019-10-14
28
leodevbro/vscode-blockman

중첩된 코드 블록을 강조 표시하는 VSCode 확장 프로그램

leodevbro
⭐ 514 TypeScript 👤 leodevbro User 🕐 업데이트됨 2026-11-07 📅 생성됨 2021-05-12
29
NLPOptimize/flash-tokenizer

LLM 추론 서빙을 위한 효율적이고 최적화된 토크나이저 엔진

NLPOptimize
⭐ 509 C++ 👤 NLPOptimize Organization 🕐 업데이트됨 2026-02-02 📅 생성됨 2025-03-09

자주 묻는 질문

1

GitHub에서 가장 인기 있는 #tokenizer 저장소는 무엇인가요?

GitHub에서 가장 높은 순위의 오픈 소스 #tokenizer 프로젝트는 108,745개의 스타를 받은 rasbt/LLMs-from-scratch입니다. PyTorch에서 ChatGPT와 유사한 LLM을 처음부터 단계별로 구현하기

2

#tokenizer 저장소에서 가장 많이 사용되는 프로그래밍 언어는 무엇인가요?

GitHub에서 순위가 가장 높은 #tokenizer 프로젝트 중 가장 일반적으로 사용되는 프로그래밍 언어는 Python, TypeScript, JavaScript, C++입니다.

3

#tokenizer 저장소 순위는 어떻게 계산되나요?

#tokenizer 태그가 지정된 활성 오픈 소스 저장소(29개, 스타 500개 이상)를 추적하고 있습니다. 총 스타 수는 145,054개이며 저장소당 평균 5,001개입니다. 순위는 GitHub API를 통해 매일 업데이트됩니다.