Git Stars Git Stars

#tokenization 저장소

#tokenization 태그가 지정된 GitHub의 활성 오픈 소스 저장소 33개를 확인해 보세요. 총 183,037개의 스타를 획득했으며 프로젝트당 평균 5,546개입니다. 이 주제를 이끄는 저장소는 48,042개의 스타를 받은 shiyu-coder/Kronos입니다.

33
총 리포지토리
183,037
총 별점
5,546
리포지토리당 평균 스타 수

저장소 총 33개

1
shiyu-coder/Kronos

Kronos: 금융 시장 언어를 위한 기초 모델

shiyu-coder
⭐ 48,042 Python 👤 shiyu-coder User 🕐 업데이트됨 2026-04-13 📅 생성됨 2025-07-01
2
explosion/spaCy

💫 Python 기반 산업급 자연어 처리(NLP)

explosion
⭐ 34,082 Python 👤 explosion Organization 🕐 업데이트됨 2026-11-21 📅 생성됨 2014-07-03
3
toon-format/toon

🎒 토큰 지향 객체 표기법(TOON) – LLM 프롬프트를 위한 JSON 데이터의 간결하고 사람이 읽을 수 있는 직렬화. TypeScript SDK, CLI, 벤치마크.

toon-format
⭐ 25,642 TypeScript 👤 toon-format Organization 🕐 업데이트됨 2026-11-11 📅 생성됨 2025-10-22
4
openai/tiktoken

tiktoken은 OpenAI 모델에 사용되는 빠른 BPE 토크나이저입니다.

openai
⭐ 19,698 Python 👤 openai Organization 🕐 업데이트됨 2026-11-08 📅 생성됨 2022-12-01
5
doctrine/lexer

탑다운, 재귀 하강 파서에서 사용할 수 있는 렉서의 기본 라이브러리.

doctrine
⭐ 11,141 PHP 👤 doctrine Organization 🕐 업데이트됨 2026-11-15 📅 생성됨 2013-01-12
6
karpathy/minbpe

LLM 토큰화에 일반적으로 사용되는 바이트 쌍 인코딩(BPE) 알고리즘을 위한 미니멀하고 깔끔한 코드입니다.

karpathy
⭐ 10,241 Python 👤 karpathy User 🕐 업데이트됨 2024-07-01 📅 생성됨 2024-02-16
7
openai/harmony

gpt-oss와 함께 사용될 harmony 응답 형식용 렌더러

openai
⭐ 4,548 Rust 👤 openai Organization 🕐 업데이트됨 2026-04-08 📅 생성됨 2025-07-31
8
marcelroed/gigatoken

GB/s 속도의 언어 모델 토큰화

marcelroed
⭐ 4,157 Rust 👤 marcelroed User 🕐 업데이트됨 2026-11-02 📅 생성됨 2025-11-10
9
AgentOps-AI/tokencost

400개 이상의 LLM에 대한 간편한 토큰 가격 추정. TokenOps.

AgentOps-AI
⭐ 2,007 Python 👤 AgentOps-AI Organization 🕐 업데이트됨 2025-09-05 📅 생성됨 2023-12-03
10
apple-aiml-research/ml-4m

4M: 대규모 다중모달 마스크 모델링

apple-aiml-research
⭐ 1,814 Python 👤 apple-aiml-research Organization 🕐 업데이트됨 2026-09-11 📅 생성됨 2024-04-08
11
rspeer/wordfreq

다양한 자연어의 단어 빈도 데이터베이스에 액세스합니다.

rspeer
⭐ 1,664 Python 👤 rspeer User 🕐 업데이트됨 2025-01-04 📅 생성됨 2013-10-28
12
Ridera-Rwa/Ridera-core

Base 상의 Ridera — Mobility RWA를 위한 핵심 프로토콜 저장소입니다. 문서, 아키텍처, 스마트 계약 및 프로토콜 디자인이 포함되어 있습니다.

Ridera-Rwa
⭐ 1,593 Solidity 👤 Ridera-Rwa User 🕐 업데이트됨 2025-12-15 📅 생성됨 2025-11-24
13
shikijs/shiki-magic-move

Shiki를 이용한 부드러운 코드 블록 애니메이션

shikijs
⭐ 1,511 TypeScript 👤 shikijs Organization 🕐 업데이트됨 2026-05-19 📅 생성됨 2024-02-22
14
securitybunker/databunker

고객 PII/PHI/PCI/KYC 기록을 위한 보안 볼트

securitybunker
⭐ 1,498 Go 👤 securitybunker Organization 🕐 업데이트됨 2026-11-20 📅 생성됨 2019-12-08
15
lunasec-io/lunasec

LunaSec - Log4Shell 또는 node-ipc와 같은 취약점을 Pull Request 및 빌드에서 자동으로 알려주는 종속성 보안 스캐너입니다. LunaTrace GitHub 앱으로 30초 안에 자신을 보호하세요: https://github.com/marketplace/lunatrace-by-lunasec/

lunasec-io
⭐ 1,461 TypeScript 👤 lunasec-io Organization 🕐 업데이트됨 2024-05-02 📅 생성됨 2021-03-16
16
huggingface/swift-transformers

Swift에서 transformers와 유사한 API를 구현하기 위한 Swift 패키지

huggingface
⭐ 1,366 Swift 👤 huggingface Organization 🕐 업데이트됨 2026-11-06 📅 생성됨 2023-05-11
17
tensorflow/text

TensorFlow에서 텍스트를 일류 시민으로 만드는 것.

tensorflow
⭐ 1,299 C++ 👤 tensorflow Organization 🕐 업데이트됨 2026-11-19 📅 생성됨 2019-05-29
18
RavenProject/Ravencoin

Ravencoin Core 통합/스테이징 트리

RavenProject
⭐ 1,122 C 👤 RavenProject Organization 🕐 업데이트됨 2026-08-18 📅 생성됨 2017-07-09
19
mistralai/mistral-common

Mistral 모델의 전처리를 위한 공식 추론 라이브러리

mistralai
⭐ 965 Python 👤 mistralai Organization 🕐 업데이트됨 2026-11-19 📅 생성됨 2024-04-15
20
servo/rust-cssparser

CSS Syntax Level 3의 Rust 구현

servo
⭐ 875 Rust 👤 servo Organization 🕐 업데이트됨 2026-11-18 📅 생성됨 2013-07-10
21
KennFalcon/elasticsearch-analysis-hanlp

Elasticsearch용 HanLP 분석기

KennFalcon
⭐ 854 Java 👤 KennFalcon User 🕐 업데이트됨 2024-07-12 📅 생성됨 2017-03-04
22
explosion/spacy-streamlit

👑 Streamlit 앱을 위한 spaCy 빌딩 블록 및 시각화 도구

explosion
⭐ 849 Python 👤 explosion Organization 🕐 업데이트됨 2024-07-29 📅 생성됨 2020-06-23
23
nlp-uoregon/trankit

Trankit은 다국어 자연어 처리를 위한 경량 Transformer 기반 Python 툴킷입니다.

nlp-uoregon
⭐ 795 Python 👤 nlp-uoregon User 🕐 업데이트됨 2025-07-22 📅 생성됨 2021-01-08
24
angeloskath/php-nlp-tools

PHP의 자연어 처리 도구

angeloskath
⭐ 762 PHP 👤 angeloskath User 🕐 업데이트됨 2024-07-22 📅 생성됨 2012-08-22
25
cbaziotis/ekphrasis

Ekphrasis는 Twitter 또는 Facebook과 같은 소셜 네트워크의 텍스트를 대상으로 하는 텍스트 처리 도구입니다. Ekphrasis는 2개의 대규모 코퍼스(영어 위키백과, 트위터 - 3억 3천만 건의 영어 트윗)의 단어 통계를 사용하여 토큰화, 단어 정규화, 단어 분할(해시태그 분리용) 및 철자 교정을 수행합니다.

cbaziotis
⭐ 676 Python 👤 cbaziotis User 🕐 업데이트됨 2025-06-02 📅 생성됨 2017-02-07
26
alasdairforsythe/tokenmonster

Python, Go, C++ 및 Javascript를 위한 비탐욕적 하위 단어 토크나이저 및 어휘 훈련기

alasdairforsythe
⭐ 626 Go 👤 alasdairforsythe User 🕐 업데이트됨 2026-07-10 📅 생성됨 2023-05-12
27
SamuraiT/mecab-python3

:snake: mecab-python. 원본 버전은 여기에서 찾을 수 있습니다: http://taku910.github.io/mecab/

SamuraiT
⭐ 579 C++ 👤 SamuraiT User 🕐 업데이트됨 2025-11-25 📅 생성됨 2014-05-31
28
adobe/NLP-Cube

자연어 처리 파이프라인 - 문장 분할, 토큰화, 원형 복원, 품사 태깅 및 의존 구문 분석

adobe
⭐ 561 HTML 👤 adobe Organization 🕐 업데이트됨 2024-11-03 📅 생성됨 2018-03-13
29
cl-tohoku/bert-japanese

일본어 텍스트를 위한 BERT 모델.

cl-tohoku
⭐ 540 Python 👤 cl-tohoku Organization 🕐 업데이트됨 2024-03-23 📅 생성됨 2019-11-14
30
xingchensong/S3Tokenizer

CosyVoice에서 제안한 감독형 의미 음성 토크나이저(S3Tokenizer)의 역공학

xingchensong
⭐ 536 Python 👤 xingchensong User 🕐 업데이트됨 2026-11-01 📅 생성됨 2024-09-09
31
yooper/php-text-analysis

PHP Text Analysis는 PHP 언어를 사용하여 정보 검색(IR) 및 자연어 처리(NLP) 작업을 수행하는 라이브러리입니다

yooper
⭐ 531 PHP 👤 yooper User 🕐 업데이트됨 2024-12-28 📅 생성됨 2012-05-21
32
lightninglabs/taproot-assets

Taproot Assets Protocol 사양을 위한 Go(golang)로 작성된 레이어 1 데몬

lightninglabs
⭐ 529 Go 👤 lightninglabs Organization 🕐 업데이트됨 2026-11-17 📅 생성됨 2022-04-11
33
patrikzudel/PatrikZeros-ChatGPT-API-UI

ChatGPT와 동일한 경험을 위해 OpenAI API 키를 사용할 수 있는 정적 웹페이지!

patrikzudel
⭐ 508 Svelte 👤 patrikzudel User 🕐 업데이트됨 2024-01-08 📅 생성됨 2023-03-07

자주 묻는 질문

1

GitHub에서 가장 인기 있는 #tokenization 저장소는 무엇인가요?

GitHub에서 가장 높은 순위의 오픈 소스 #tokenization 프로젝트는 48,042개의 스타를 받은 shiyu-coder/Kronos입니다. Kronos: 금융 시장 언어를 위한 기초 모델

2

#tokenization 저장소에서 가장 많이 사용되는 프로그래밍 언어는 무엇인가요?

GitHub에서 순위가 가장 높은 #tokenization 프로젝트 중 가장 일반적으로 사용되는 프로그래밍 언어는 Python, TypeScript, PHP, Rust입니다.

3

#tokenization 저장소 순위는 어떻게 계산되나요?

#tokenization 태그가 지정된 활성 오픈 소스 저장소(33개, 스타 500개 이상)를 추적하고 있습니다. 총 스타 수는 183,037개이며 저장소당 평균 5,546개입니다. 순위는 GitHub API를 통해 매일 업데이트됩니다.