#kv-cache Repositórios
Descubra 18 repositórios ativos de código aberto no GitHub marcados com #kv-cache, acumulando um total de 46,401 estrelas (uma média de 2,577 por projeto). O líder deste tópico é LMCache/LMCache, com 12,405 estrelas.
18 repositórios no total
《Compreendendo profundamente a infraestrutura de IA: análise quantitativa e projeto de sistemas》 (de Li Bojie), um manuscrito de livro de código aberto: partindo das restrições de hardware e das arquiteturas dos modelos, deriva quantitativamente o projeto de sistemas de inferência e treinamento de LLMs. Inclui o texto completo, o PDF, ferramentas de cálculo complementares e experimentos.
Uma implementação compacta do SGLang, projetada para desmistificar as complexidades dos modernos sistemas de serviço de LLM.
Um Servidor e Cluster Redis implementado em Golang. Servidor e cluster distribuído Redis implementado em Go
Execute modelos Qwen grandes rapidamente nas GPUs que você realmente possui. Qwen3.8-27B em uma única placa de 24 GB com vLLM: 127 tok/s para um único usuário (381 quando a resposta cita o prompt), cerca de 1.035 tok/s com 64 requisições simultâneas e contexto de 150k–262k. Patches do vLLM, pipeline de requantização e benchmarks.
Uma coleção selecionada de artigos, benchmarks, revisões e ferramentas sobre quantização de modelos, abrangendo redes de poucos bits, LLMs, modelos multimodais e generativos, quantização vetorial e de reticulado, e implantação eficiente.
Curso oficial da SGLang x Datawhale sobre inferência de LLM: entenda a inferência, construa um mini-SGLang do zero, depois leia o código-fonte real do SGLang e faça seu primeiro PR. Disponível em inglês e chinês.
Métodos Unificados de Compressão de Cache KV para Modelos Autorregressivos
Notas sobre LLM, incluindo inferência de modelo, estrutura do modelo transformer e notas de análise de código de framework LLM.
Inferência rápida de grandes modelos de linguagem via decodificação especulativa
[ICLR'26] Implementação oficial do código de «Cache-to-Cache: Comunicação semântica direta entre grandes modelos de linguagem»
Motor de inferência LLM puro Rust + CUDA — sem PyTorch, compatível com OpenAI, atende de Qwen3 a Kimi-K2
Mistura de Recursões: Aprendizagem de Profundidades Recursivas Dinâmicas para Computação Adaptativa ao Nível de Token (NeurIPS 2025)
Alcance a inferência do llama3 passo a passo, compreenda os conceitos centrais, domine a derivação do processo e implemente o código.
Do professor aos blocos — um mecanismo de destilação e serviço de LLM construído do zero: kernels Triton/CUDA personalizados, destilação FSDP, processamento em lote contínuo com KV paginado, decodificação especulativa, um gateway Rust, um oráculo JAX e ferramentas de interpretabilidade.
KVarN é um backend nativo do vLLM para quantização do cache KV dos seus agentes: de 3 a 5 vezes mais contexto, throughput superior ao FP16 e precisão de nível FP16. Sem calibração, basta uma flag.
Perguntas Frequentes
Qual é o repositório de #kv-cache mais popular no GitHub?
O projeto de código aberto de #kv-cache mais bem classificado no GitHub é LMCache/LMCache, com 12,405 estrelas. LMCache: Turbine seu LLM com a camada de cache KV mais rápida
Quais linguagens de programação são mais usadas nos repositórios de #kv-cache?
Entre os projetos de #kv-cache mais bem classificados no GitHub, as linguagens de programação mais comuns são Python, Go, Rust, Jupyter Notebook.
Como é calculada a classificação dos repositórios de #kv-cache?
Acompanhamos 18 repositórios ativos de código aberto marcados com #kv-cache (com mais de 500 estrelas), totalizando 46,401 estrelas e uma média de 2,577 estrelas por repositório. As classificações são atualizadas diariamente a partir da API do GitHub.