Git Stars Git Stars

#kv-cache Repositorios

Descubre 18 repositorios activos de código abierto de GitHub etiquetados con #kv-cache, que acumulan 46,401 estrellas en total (una media de 2,577 estrellas por proyecto). El líder de este tema es LMCache/LMCache, con 12,405 estrellas.

18
Total de Repositorios
46,401
Total de estrellas
2,577
Promedio de Estrellas/Repo
Lenguajes de programación: Python Go Rust Jupyter Notebook

18 repositorios en total

1
LMCache/LMCache

LMCache: Potencia tu LLM con la capa de caché KV más rápida

LMCache
⭐ 12,405 Python 👤 LMCache Organization 🕐 Actualizado 2026-11-21 📅 Creado 2024-05-28
2
bojieli/ai-infra-book

《Comprender en profundidad la infraestructura de IA: análisis cuantitativo y diseño de sistemas》 (por Li Bojie), un manuscrito de libro de código abierto: partiendo de las restricciones del hardware y de las arquitecturas de los modelos, deriva cuantitativamente el diseño de sistemas de inferencia y entrenamiento de LLM. Incluye el texto completo, el PDF, herramientas de cálculo complementarias y experimentos.

bojieli
⭐ 8,179 Python 👤 bojieli User 🕐 Actualizado 2026-10-01 📅 Creado 2026-08-22
3
sgl-project/mini-sglang

Una implementación compacta de SGLang, diseñada para desmitificar las complejidades de los modernos sistemas de servicio de LLM.

sgl-project
⭐ 5,623 Python 👤 sgl-project Organization 🕐 Actualizado 2026-05-17 📅 Creado 2025-09-01
4
HDT3213/godis

Un servidor y clúster de Redis implementado en Golang. Servidor y clúster distribuido de Redis implementado en el lenguaje Go

HDT3213
⭐ 3,834 Go 👤 HDT3213 User 🕐 Actualizado 2025-09-14 📅 Creado 2019-06-01
5
syv-ai/HyperQwen

Ejecuta modelos Qwen grandes rápidamente en las GPU que realmente tienes. Qwen3.8-27B en una sola tarjeta de 24 GB con vLLM: 127 tok/s para un solo usuario (381 cuando la respuesta cita el prompt), aproximadamente 1.035 tok/s con 64 solicitudes concurrentes y un contexto de 150k–262k. Parches para vLLM, canalización de requantización y benchmarks.

syv-ai
⭐ 2,778 Python 👤 syv-ai Organization 🕐 Actualizado 2026-11-10 📅 Creado 2026-08-15
6
AI-Efficiency/Awesome-Model-Quantization

Una colección seleccionada de artículos, benchmarks, revisiones y herramientas sobre la cuantización de modelos, que abarca redes de pocos bits, LLM, modelos multimodales y generativos, cuantización vectorial y de retícula, y despliegue eficiente.

AI-Efficiency
⭐ 2,471 👤 AI-Efficiency Organization 🕐 Actualizado 2026-11-16 📅 Creado 2018-10-18
7
datawhalechina/zero-to-sglang

Curso oficial de SGLang x Datawhale sobre inferencia de LLM: comprende la inferencia, construye un mini-SGLang desde cero, luego lee el código fuente real de SGLang y consigue tu primer PR. Disponible en inglés y chino.

datawhalechina
⭐ 2,306 Python 👤 datawhalechina Organization 🕐 Actualizado 2026-11-17 📅 Creado 2026-08-27
8
Zefan-Cai/KVCache-Factory

Métodos unificados de compresión de caché KV para modelos autorregresivos

Zefan-Cai
⭐ 1,393 Python 👤 Zefan-Cai User 🕐 Actualizado 2026-08-13 📅 Creado 2024-06-05
9
NVIDIA/kvpress

Compresión de caché KV de LLM facilitada

NVIDIA
⭐ 1,258 Python 👤 NVIDIA Organization 🕐 Actualizado 2026-11-16 📅 Creado 2024-11-06
10
harleyszhang/llm_note

Notas de LLM, incluida la inferencia del modelo, la estructura del modelo Transformer y notas de análisis de código del framework LLM.

harleyszhang
⭐ 897 Python 👤 harleyszhang User 🕐 Actualizado 2026-08-19 📅 Creado 2024-09-18
11
feifeibear/LLMSpeculativeSampling

Inferencia rápida de modelos de lenguaje grandes a través de decodificación especulativa

feifeibear
⭐ 875 Python 👤 feifeibear User 🕐 Actualizado 2024-08-22 📅 Creado 2023-08-16
12
thu-nics/C2C

[ICLR'26] Implementación oficial del código de «Cache-to-Cache: Comunicación semántica directa entre modelos de lenguaje grandes»

thu-nics
⭐ 783 Python 👤 thu-nics Organization 🕐 Actualizado 2026-10-28 📅 Creado 2025-10-03
13
pegainfer-project/pegainfer

Motor de inferencia LLM puro Rust + CUDA — sin PyTorch, compatible con OpenAI, sirve desde Qwen3 hasta Kimi-K2

pegainfer-project
⭐ 748 Rust 👤 pegainfer-project Organization 🕐 Actualizado 2026-11-21 📅 Creado 2026-02-17
14
raymin0223/mixture_of_recursions

Mezcla de Recursiones: Aprendizaje de Profundidades Recursivas Dinámicas para la Computación Adaptativa a Nivel de Token (NeurIPS 2025)

raymin0223
⭐ 651 Python 👤 raymin0223 User 🕐 Actualizado 2026-09-19 📅 Creado 2025-06-16
15
therealoliver/Deepdive-llama3-from-scratch

Logra el paso de inferencia de llama3 paso a paso, comprende los conceptos centrales, domina la derivación del proceso, implementa el código.

therealoliver
⭐ 629 Jupyter Notebook 👤 therealoliver User 🕐 Actualizado 2025-02-24 📅 Creado 2025-02-19
16
zengxiao-he/tessera

De maestro a mosaicos — un motor de destilación y servicio de LLM desde cero: kernels personalizados de Triton/CUDA, destilación FSDP, procesamiento por lotes continuo con KV paginado, decodificación especulativa, una puerta de enlace en Rust, un oráculo JAX y herramientas de interpretabilidad.

zengxiao-he
⭐ 556 Python 👤 zengxiao-he User 🕐 Actualizado 2026-10-09 📅 Creado 2026-06-05
17
OmniJev/Flide

🔥🔥 El motor de inferencia ultrarrápido para modelos de decisión

OmniJev
⭐ 550 Python 👤 OmniJev Organization 🕐 Actualizado 2026-11-21 📅 Creado 2026-10-24
18
huawei-csl/KVarN

KVarN es un backend nativo de vLLM para la cuantización de la caché KV de tus agentes: entre 3 y 5 veces más contexto, un rendimiento superior a FP16 y una precisión de nivel FP16. Sin calibración, un solo indicador.

huawei-csl
⭐ 521 Python 👤 huawei-csl Organization 🕐 Actualizado 2026-06-22 📅 Creado 2026-05-29

Preguntas frecuentes

1

¿Cuál es el repositorio de #kv-cache más popular en GitHub?

El proyecto de código abierto de #kv-cache mejor posicionado en GitHub es LMCache/LMCache, con 12,405 estrellas. LMCache: Potencia tu LLM con la capa de caché KV más rápida

2

¿Qué lenguajes de programación se utilizan más en los repositorios de #kv-cache?

Entre los proyectos de #kv-cache mejor posicionados en GitHub, los lenguajes de programación más comunes son Python, Go, Rust, Jupyter Notebook.

3

¿Cómo se calcula la clasificación de los repositorios de #kv-cache?

Seguimos 18 repositorios activos de código abierto etiquetados con #kv-cache (500+ estrellas), que suman un total de 46,401 estrellas, con una media de 2,577 estrellas por repositorio. Las clasificaciones se actualizan diariamente a partir de la API de GitHub.