Git Stars Git Stars

#kv-cache 仓库

探索 18 个标记为 #kv-cache 的活跃开源 GitHub 仓库,它们累计获得 46,401 个 Star(平均每个项目 2,577 个)。该主题的领先项目是 LMCache/LMCache,拥有 12,405 个 Star。

18
仓库总数
46,401
总星标数
2,577
平均每个仓库星标数
1
LMCache/LMCache

LMCache:利用最快的 KV 缓存层为您的 LLM 提速

LMCache
⭐ 12,405 Python 👤 LMCache Organization 🕐 已更新 2026-11-21 📅 创建时间 2024-05-28
2
bojieli/ai-infra-book

《深入理解 AI Infra:量化分析与系统设计》(李博杰 著)开源书稿:从硬件约束和模型架构出发,量化推导 LLM 推理与训练系统设计。含全书正文、PDF、配套计算工具与实验

bojieli
⭐ 8,179 Python 👤 bojieli User 🕐 已更新 2026-10-01 📅 创建时间 2026-08-22
3
sgl-project/mini-sglang

SGLang 的一个紧凑实现,旨在揭开现代 LLM 服务系统复杂性的神秘面纱。

sgl-project
⭐ 5,623 Python 👤 sgl-project Organization 🕐 已更新 2026-05-17 📅 创建时间 2025-09-01
4
HDT3213/godis

Golang 实现的 Redis 服务器和集群。Go 语言实现的 Redis 服务器和分布式集群

HDT3213
⭐ 3,834 Go 👤 HDT3213 User 🕐 已更新 2025-09-14 📅 创建时间 2019-06-01
5
syv-ai/HyperQwen

在你实际拥有的 GPU 上快速部署大型 Qwen 模型。使用 vLLM 在单张 24 GB 显卡上运行 Qwen3.8-27B:单用户 127 token/秒(答案引用提示词时为 381 token/秒),64 路并发时约 1,035 token/秒,支持 150k–262k 上下文。vLLM 补丁、重新量化流程与基准测试。

syv-ai
⭐ 2,778 Python 👤 syv-ai Organization 🕐 已更新 2026-11-10 📅 创建时间 2026-08-15
6
AI-Efficiency/Awesome-Model-Quantization

精选的模型量化论文、基准测试、综述和工具集合,涵盖低比特网络、大语言模型、多模态与生成模型、矢量量化和格量化,以及高效部署。

AI-Efficiency
⭐ 2,471 👤 AI-Efficiency Organization 🕐 已更新 2026-11-16 📅 创建时间 2018-10-18
7
datawhalechina/zero-to-sglang

SGLang x Datawhale 官方大语言模型推理课程:理解推理原理,从零构建一个迷你版 SGLang,然后阅读真正的 SGLang 源码并提交你的第一个 PR。课程提供英文和中文版本。

datawhalechina
⭐ 2,306 Python 👤 datawhalechina Organization 🕐 已更新 2026-11-17 📅 创建时间 2026-08-27
8
Zefan-Cai/KVCache-Factory

面向自回归模型的统一 KV 缓存压缩方法

Zefan-Cai
⭐ 1,393 Python 👤 Zefan-Cai User 🕐 已更新 2026-08-13 📅 创建时间 2024-06-05
9
NVIDIA/kvpress

LLM KV缓存压缩,得心应手

NVIDIA
⭐ 1,258 Python 👤 NVIDIA Organization 🕐 已更新 2026-11-16 📅 创建时间 2024-11-06
10
harleyszhang/llm_note

LLM笔记,包括模型推理、Transformer模型结构和LLM框架代码分析笔记。

harleyszhang
⭐ 897 Python 👤 harleyszhang User 🕐 已更新 2026-08-19 📅 创建时间 2024-09-18
11
feifeibear/LLMSpeculativeSampling

通过推测性解码从大型语言模型进行快速推理

feifeibear
⭐ 875 Python 👤 feifeibear User 🕐 已更新 2024-08-22 📅 创建时间 2023-08-16
12
thu-nics/C2C

[ICLR'26]《Cache-to-Cache:大型语言模型之间的直接语义通信》官方代码实现

thu-nics
⭐ 783 Python 👤 thu-nics Organization 🕐 已更新 2026-10-28 📅 创建时间 2025-10-03
13
pegainfer-project/pegainfer

纯 Rust + CUDA 的 LLM 推理引擎——无需 PyTorch,兼容 OpenAI,支持从 Qwen3 到 Kimi-K2 的模型

pegainfer-project
⭐ 748 Rust 👤 pegainfer-project Organization 🕐 已更新 2026-11-21 📅 创建时间 2026-02-17
14
raymin0223/mixture_of_recursions

混合递归:学习动态递归深度以实现自适应的令牌级计算 (NeurIPS 2025)

raymin0223
⭐ 651 Python 👤 raymin0223 User 🕐 已更新 2026-09-19 📅 创建时间 2025-06-16
15
therealoliver/Deepdive-llama3-from-scratch

逐步实现 llama3 推理,掌握核心概念,精通过程推导,实现代码。

therealoliver
⭐ 629 Jupyter Notebook 👤 therealoliver User 🕐 已更新 2025-02-24 📅 创建时间 2025-02-19
16
zengxiao-he/tessera

从教师到瓦片——一个从头构建的LLM蒸馏与推理引擎:自定义Triton/CUDA内核、FSDP蒸馏、分页KV连续批处理、推测解码、Rust网关、JAX预言机以及可解释性工具。

zengxiao-he
⭐ 556 Python 👤 zengxiao-he User 🕐 已更新 2026-10-09 📅 创建时间 2026-06-05
17
OmniJev/Flide

🔥🔥 面向决策模型的超高速推理引擎

OmniJev
⭐ 550 Python 👤 OmniJev Organization 🕐 已更新 2026-11-21 📅 创建时间 2026-10-24
18
huawei-csl/KVarN

KVarN 是专为您的智能体打造的原生 vLLM KV 缓存量化后端:上下文容量提升 3–5 倍,吞吐量超越 FP16,精度达到 FP16 级别。无需校准,只需一个参数。

huawei-csl
⭐ 521 Python 👤 huawei-csl Organization 🕐 已更新 2026-06-22 📅 创建时间 2026-05-29

常见问题解答

1

GitHub 上最受欢迎的 #kv-cache 仓库是什么?

GitHub 上排名第一的开源 #kv-cache 项目是 LMCache/LMCache,拥有 12,405 个 Star。LMCache:利用最快的 KV 缓存层为您的 LLM 提速

2

#kv-cache 仓库中最常使用的编程语言有哪些?

在 GitHub 上排名靠前的 #kv-cache 项目中,最常见的编程语言是 Python, Go, Rust, Jupyter Notebook。

3

#kv-cache 仓库的排名是如何计算的?

我们跟踪了 18 个标记为 #kv-cache 且拥有 500+ 个 Star 的活跃开源仓库,共计获得 46,401 个 Star,平均每个仓库拥有 2,577 个 Star。排名每日根据 GitHub API 更新。