#kv-cache 仓库
探索 18 个标记为 #kv-cache 的活跃开源 GitHub 仓库,它们累计获得 46,401 个 Star(平均每个项目 2,577 个)。该主题的领先项目是 LMCache/LMCache,拥有 12,405 个 Star。
共 18 个仓库
《深入理解 AI Infra:量化分析与系统设计》(李博杰 著)开源书稿:从硬件约束和模型架构出发,量化推导 LLM 推理与训练系统设计。含全书正文、PDF、配套计算工具与实验
在你实际拥有的 GPU 上快速部署大型 Qwen 模型。使用 vLLM 在单张 24 GB 显卡上运行 Qwen3.8-27B:单用户 127 token/秒(答案引用提示词时为 381 token/秒),64 路并发时约 1,035 token/秒,支持 150k–262k 上下文。vLLM 补丁、重新量化流程与基准测试。
精选的模型量化论文、基准测试、综述和工具集合,涵盖低比特网络、大语言模型、多模态与生成模型、矢量量化和格量化,以及高效部署。
SGLang x Datawhale 官方大语言模型推理课程:理解推理原理,从零构建一个迷你版 SGLang,然后阅读真正的 SGLang 源码并提交你的第一个 PR。课程提供英文和中文版本。
纯 Rust + CUDA 的 LLM 推理引擎——无需 PyTorch,兼容 OpenAI,支持从 Qwen3 到 Kimi-K2 的模型
从教师到瓦片——一个从头构建的LLM蒸馏与推理引擎:自定义Triton/CUDA内核、FSDP蒸馏、分页KV连续批处理、推测解码、Rust网关、JAX预言机以及可解释性工具。
KVarN 是专为您的智能体打造的原生 vLLM KV 缓存量化后端:上下文容量提升 3–5 倍,吞吐量超越 FP16,精度达到 FP16 级别。无需校准,只需一个参数。
常见问题解答
GitHub 上最受欢迎的 #kv-cache 仓库是什么?
GitHub 上排名第一的开源 #kv-cache 项目是 LMCache/LMCache,拥有 12,405 个 Star。LMCache:利用最快的 KV 缓存层为您的 LLM 提速
#kv-cache 仓库中最常使用的编程语言有哪些?
在 GitHub 上排名靠前的 #kv-cache 项目中,最常见的编程语言是 Python, Go, Rust, Jupyter Notebook。
#kv-cache 仓库的排名是如何计算的?
我们跟踪了 18 个标记为 #kv-cache 且拥有 500+ 个 Star 的活跃开源仓库,共计获得 46,401 个 Star,平均每个仓库拥有 2,577 个 Star。排名每日根据 GitHub API 更新。