Git Stars Git Stars

#kv-cache 저장소

#kv-cache 태그가 지정된 GitHub의 활성 오픈 소스 저장소 18개를 확인해 보세요. 총 46,401개의 스타를 획득했으며 프로젝트당 평균 2,577개입니다. 이 주제를 이끄는 저장소는 12,405개의 스타를 받은 LMCache/LMCache입니다.

18
총 리포지토리
46,401
총 별점
2,577
리포지토리당 평균 스타 수

저장소 총 18개

1
LMCache/LMCache

LMCache: 가장 빠른 KV 캐시 계층으로 LLM 성능을 극대화하세요

LMCache
⭐ 12,405 Python 👤 LMCache Organization 🕐 업데이트됨 2026-11-21 📅 생성됨 2024-05-28
2
bojieli/ai-infra-book

《AI 인프라 심층 이해: 정량 분석과 시스템 설계》(리보제 저), 오픈 소스 도서 원고: 하드웨어 제약과 모델 아키텍처를 바탕으로 LLM 추론 및 학습 시스템 설계를 정량적으로 도출합니다. 책 전체 본문, PDF, 관련 계산 도구와 실험을 포함합니다.

bojieli
⭐ 8,179 Python 👤 bojieli User 🕐 업데이트됨 2026-10-01 📅 생성됨 2026-08-22
3
sgl-project/mini-sglang

현대 LLM 서빙 시스템의 복잡성을 이해하기 쉽게 설명하기 위해 설계된 SGLang의 컴팩트한 구현입니다.

sgl-project
⭐ 5,623 Python 👤 sgl-project Organization 🕐 업데이트됨 2026-05-17 📅 생성됨 2025-09-01
4
HDT3213/godis

Golang으로 구현된 Redis 서버 및 클러스터. Go 언어로 구현된 Redis 서버와 분산 클러스터

HDT3213
⭐ 3,834 Go 👤 HDT3213 User 🕐 업데이트됨 2025-09-14 📅 생성됨 2019-06-01
5
syv-ai/HyperQwen

실제로 보유한 GPU에서 대형 Qwen 모델을 빠르게 서빙하세요. vLLM을 사용해 24GB 카드 한 장에서 Qwen3.8-27B 실행: 단일 사용자 기준 127 tok/s(응답이 프롬프트를 인용할 때는 381 tok/s), 동시 요청 64개에서 약 1,035 tok/s, 150k~262k 컨텍스트. vLLM 패치, 재양자화 파이프라인, 벤치마크.

syv-ai
⭐ 2,778 Python 👤 syv-ai Organization 🕐 업데이트됨 2026-11-10 📅 생성됨 2026-08-15
6
AI-Efficiency/Awesome-Model-Quantization

모델 양자화에 관한 논문, 벤치마크, 서베이 및 도구를 엄선한 모음으로, 저비트 네트워크, LLM, 멀티모달 및 생성 모델, 벡터 및 격자 양자화, 효율적인 배포를 다룹니다.

AI-Efficiency
⭐ 2,471 👤 AI-Efficiency Organization 🕐 업데이트됨 2026-11-16 📅 생성됨 2018-10-18
7
datawhalechina/zero-to-sglang

LLM 추론에 관한 SGLang x Datawhale 공식 강좌: 추론을 이해하고, 처음부터 미니 SGLang을 구축한 다음, 실제 SGLang 소스 코드를 읽고 첫 PR을 제출해 보세요. 영어와 중국어로 제공됩니다.

datawhalechina
⭐ 2,306 Python 👤 datawhalechina Organization 🕐 업데이트됨 2026-11-17 📅 생성됨 2026-08-27
8
Zefan-Cai/KVCache-Factory

자기회귀 모델을 위한 통합 KV 캐시 압축 방법

Zefan-Cai
⭐ 1,393 Python 👤 Zefan-Cai User 🕐 업데이트됨 2026-08-13 📅 생성됨 2024-06-05
9
NVIDIA/kvpress

LLM KV 캐시 압축을 쉽게

NVIDIA
⭐ 1,258 Python 👤 NVIDIA Organization 🕐 업데이트됨 2026-11-16 📅 생성됨 2024-11-06
10
harleyszhang/llm_note

모델 추론, 트랜스포머 모델 구조 및 LLM 프레임워크 코드 분석 노트를 포함한 LLM 노트.

harleyszhang
⭐ 897 Python 👤 harleyszhang User 🕐 업데이트됨 2026-08-19 📅 생성됨 2024-09-18
11
feifeibear/LLMSpeculativeSampling

투기적 디코딩을 통한 대규모 언어 모델의 빠른 추론

feifeibear
⭐ 875 Python 👤 feifeibear User 🕐 업데이트됨 2024-08-22 📅 생성됨 2023-08-16
12
thu-nics/C2C

[ICLR'26] "Cache-to-Cache: 대규모 언어 모델 간 직접 의미 통신"의 공식 코드 구현

thu-nics
⭐ 783 Python 👤 thu-nics Organization 🕐 업데이트됨 2026-10-28 📅 생성됨 2025-10-03
13
pegainfer-project/pegainfer

순수 Rust + CUDA LLM 추론 엔진 — PyTorch 불필요, OpenAI 호환, Qwen3에서 Kimi-K2까지 지원

pegainfer-project
⭐ 748 Rust 👤 pegainfer-project Organization 🕐 업데이트됨 2026-11-21 📅 생성됨 2026-02-17
14
raymin0223/mixture_of_recursions

재귀의 혼합: 적응형 토큰 수준 계산을 위한 동적 재귀 깊이 학습 (NeurIPS 2025)

raymin0223
⭐ 651 Python 👤 raymin0223 User 🕐 업데이트됨 2026-09-19 📅 생성됨 2025-06-16
15
therealoliver/Deepdive-llama3-from-scratch

llama3 추론 단계를 단계별로 달성하고 핵심 개념을 파악하며 프로세스 유도를 마스터하고 코드를 구현합니다.

therealoliver
⭐ 629 Jupyter Notebook 👤 therealoliver User 🕐 업데이트됨 2025-02-24 📅 생성됨 2025-02-19
16
zengxiao-he/tessera

교사에서 타일까지 — 처음부터 구축한 LLM 증류 및 서빙 엔진: 맞춤형 Triton/CUDA 커널, FSDP 증류, 페이징 KV 연속 배치, 추측 디코딩, Rust 게이트웨이, JAX 오라클, 해석 가능성 도구.

zengxiao-he
⭐ 556 Python 👤 zengxiao-he User 🕐 업데이트됨 2026-10-09 📅 생성됨 2026-06-05
17
OmniJev/Flide

🔥🔥 의사결정 모델을 위한 초고속 추론 엔진

OmniJev
⭐ 550 Python 👤 OmniJev Organization 🕐 업데이트됨 2026-11-21 📅 생성됨 2026-10-24
18
huawei-csl/KVarN

KVarN은 에이전트를 위한 네이티브 vLLM KV 캐시 양자화 백엔드입니다. 컨텍스트를 3~5배 더 확보하고, FP16을 뛰어넘는 처리량과 FP16 수준의 정확도를 제공합니다. 캘리브레이션 없이 플래그 하나로 사용할 수 있습니다.

huawei-csl
⭐ 521 Python 👤 huawei-csl Organization 🕐 업데이트됨 2026-06-22 📅 생성됨 2026-05-29

자주 묻는 질문

1

GitHub에서 가장 인기 있는 #kv-cache 저장소는 무엇인가요?

GitHub에서 가장 높은 순위의 오픈 소스 #kv-cache 프로젝트는 12,405개의 스타를 받은 LMCache/LMCache입니다. LMCache: 가장 빠른 KV 캐시 계층으로 LLM 성능을 극대화하세요

2

#kv-cache 저장소에서 가장 많이 사용되는 프로그래밍 언어는 무엇인가요?

GitHub에서 순위가 가장 높은 #kv-cache 프로젝트 중 가장 일반적으로 사용되는 프로그래밍 언어는 Python, Go, Rust, Jupyter Notebook입니다.

3

#kv-cache 저장소 순위는 어떻게 계산되나요?

#kv-cache 태그가 지정된 활성 오픈 소스 저장소(18개, 스타 500개 이상)를 추적하고 있습니다. 총 스타 수는 46,401개이며 저장소당 평균 2,577개입니다. 순위는 GitHub API를 통해 매일 업데이트됩니다.