#kv-cache Repositorios
Descubre 18 repositorios activos de código abierto de GitHub etiquetados con #kv-cache, que acumulan 46,401 estrellas en total (una media de 2,577 estrellas por proyecto). El líder de este tema es LMCache/LMCache, con 12,405 estrellas.
18 repositorios en total
《Comprender en profundidad la infraestructura de IA: análisis cuantitativo y diseño de sistemas》 (por Li Bojie), un manuscrito de libro de código abierto: partiendo de las restricciones del hardware y de las arquitecturas de los modelos, deriva cuantitativamente el diseño de sistemas de inferencia y entrenamiento de LLM. Incluye el texto completo, el PDF, herramientas de cálculo complementarias y experimentos.
Una implementación compacta de SGLang, diseñada para desmitificar las complejidades de los modernos sistemas de servicio de LLM.
Un servidor y clúster de Redis implementado en Golang. Servidor y clúster distribuido de Redis implementado en el lenguaje Go
Ejecuta modelos Qwen grandes rápidamente en las GPU que realmente tienes. Qwen3.8-27B en una sola tarjeta de 24 GB con vLLM: 127 tok/s para un solo usuario (381 cuando la respuesta cita el prompt), aproximadamente 1.035 tok/s con 64 solicitudes concurrentes y un contexto de 150k–262k. Parches para vLLM, canalización de requantización y benchmarks.
Una colección seleccionada de artículos, benchmarks, revisiones y herramientas sobre la cuantización de modelos, que abarca redes de pocos bits, LLM, modelos multimodales y generativos, cuantización vectorial y de retícula, y despliegue eficiente.
Curso oficial de SGLang x Datawhale sobre inferencia de LLM: comprende la inferencia, construye un mini-SGLang desde cero, luego lee el código fuente real de SGLang y consigue tu primer PR. Disponible en inglés y chino.
Métodos unificados de compresión de caché KV para modelos autorregresivos
Notas de LLM, incluida la inferencia del modelo, la estructura del modelo Transformer y notas de análisis de código del framework LLM.
Inferencia rápida de modelos de lenguaje grandes a través de decodificación especulativa
[ICLR'26] Implementación oficial del código de «Cache-to-Cache: Comunicación semántica directa entre modelos de lenguaje grandes»
Motor de inferencia LLM puro Rust + CUDA — sin PyTorch, compatible con OpenAI, sirve desde Qwen3 hasta Kimi-K2
Mezcla de Recursiones: Aprendizaje de Profundidades Recursivas Dinámicas para la Computación Adaptativa a Nivel de Token (NeurIPS 2025)
Logra el paso de inferencia de llama3 paso a paso, comprende los conceptos centrales, domina la derivación del proceso, implementa el código.
De maestro a mosaicos — un motor de destilación y servicio de LLM desde cero: kernels personalizados de Triton/CUDA, destilación FSDP, procesamiento por lotes continuo con KV paginado, decodificación especulativa, una puerta de enlace en Rust, un oráculo JAX y herramientas de interpretabilidad.
KVarN es un backend nativo de vLLM para la cuantización de la caché KV de tus agentes: entre 3 y 5 veces más contexto, un rendimiento superior a FP16 y una precisión de nivel FP16. Sin calibración, un solo indicador.
Preguntas frecuentes
¿Cuál es el repositorio de #kv-cache más popular en GitHub?
El proyecto de código abierto de #kv-cache mejor posicionado en GitHub es LMCache/LMCache, con 12,405 estrellas. LMCache: Potencia tu LLM con la capa de caché KV más rápida
¿Qué lenguajes de programación se utilizan más en los repositorios de #kv-cache?
Entre los proyectos de #kv-cache mejor posicionados en GitHub, los lenguajes de programación más comunes son Python, Go, Rust, Jupyter Notebook.
¿Cómo se calcula la clasificación de los repositorios de #kv-cache?
Seguimos 18 repositorios activos de código abierto etiquetados con #kv-cache (500+ estrellas), que suman un total de 46,401 estrellas, con una media de 2,577 estrellas por repositorio. Las clasificaciones se actualizan diariamente a partir de la API de GitHub.