#kv-cache 저장소
#kv-cache 태그가 지정된 GitHub의 활성 오픈 소스 저장소 18개를 확인해 보세요. 총 46,401개의 스타를 획득했으며 프로젝트당 평균 2,577개입니다. 이 주제를 이끄는 저장소는 12,405개의 스타를 받은 LMCache/LMCache입니다.
저장소 총 18개
《AI 인프라 심층 이해: 정량 분석과 시스템 설계》(리보제 저), 오픈 소스 도서 원고: 하드웨어 제약과 모델 아키텍처를 바탕으로 LLM 추론 및 학습 시스템 설계를 정량적으로 도출합니다. 책 전체 본문, PDF, 관련 계산 도구와 실험을 포함합니다.
실제로 보유한 GPU에서 대형 Qwen 모델을 빠르게 서빙하세요. vLLM을 사용해 24GB 카드 한 장에서 Qwen3.8-27B 실행: 단일 사용자 기준 127 tok/s(응답이 프롬프트를 인용할 때는 381 tok/s), 동시 요청 64개에서 약 1,035 tok/s, 150k~262k 컨텍스트. vLLM 패치, 재양자화 파이프라인, 벤치마크.
모델 양자화에 관한 논문, 벤치마크, 서베이 및 도구를 엄선한 모음으로, 저비트 네트워크, LLM, 멀티모달 및 생성 모델, 벡터 및 격자 양자화, 효율적인 배포를 다룹니다.
LLM 추론에 관한 SGLang x Datawhale 공식 강좌: 추론을 이해하고, 처음부터 미니 SGLang을 구축한 다음, 실제 SGLang 소스 코드를 읽고 첫 PR을 제출해 보세요. 영어와 중국어로 제공됩니다.
순수 Rust + CUDA LLM 추론 엔진 — PyTorch 불필요, OpenAI 호환, Qwen3에서 Kimi-K2까지 지원
llama3 추론 단계를 단계별로 달성하고 핵심 개념을 파악하며 프로세스 유도를 마스터하고 코드를 구현합니다.
교사에서 타일까지 — 처음부터 구축한 LLM 증류 및 서빙 엔진: 맞춤형 Triton/CUDA 커널, FSDP 증류, 페이징 KV 연속 배치, 추측 디코딩, Rust 게이트웨이, JAX 오라클, 해석 가능성 도구.
KVarN은 에이전트를 위한 네이티브 vLLM KV 캐시 양자화 백엔드입니다. 컨텍스트를 3~5배 더 확보하고, FP16을 뛰어넘는 처리량과 FP16 수준의 정확도를 제공합니다. 캘리브레이션 없이 플래그 하나로 사용할 수 있습니다.
자주 묻는 질문
GitHub에서 가장 인기 있는 #kv-cache 저장소는 무엇인가요?
GitHub에서 가장 높은 순위의 오픈 소스 #kv-cache 프로젝트는 12,405개의 스타를 받은 LMCache/LMCache입니다. LMCache: 가장 빠른 KV 캐시 계층으로 LLM 성능을 극대화하세요
#kv-cache 저장소에서 가장 많이 사용되는 프로그래밍 언어는 무엇인가요?
GitHub에서 순위가 가장 높은 #kv-cache 프로젝트 중 가장 일반적으로 사용되는 프로그래밍 언어는 Python, Go, Rust, Jupyter Notebook입니다.
#kv-cache 저장소 순위는 어떻게 계산되나요?
#kv-cache 태그가 지정된 활성 오픈 소스 저장소(18개, 스타 500개 이상)를 추적하고 있습니다. 총 스타 수는 46,401개이며 저장소당 평균 2,577개입니다. 순위는 GitHub API를 통해 매일 업데이트됩니다.