Git Stars Git Stars

#kv-cache Repositórios

Descubra 18 repositórios ativos de código aberto no GitHub marcados com #kv-cache, acumulando um total de 46,401 estrelas (uma média de 2,577 por projeto). O líder deste tópico é LMCache/LMCache, com 12,405 estrelas.

18
Total de Repositórios
46,401
Total de estrelas
2,577
Média de Estrelas/Repositório
Linguagens de programação: Python Go Rust Jupyter Notebook

18 repositórios no total

1
LMCache/LMCache

LMCache: Turbine seu LLM com a camada de cache KV mais rápida

LMCache
⭐ 12,405 Python 👤 LMCache Organization 🕐 Atualizado 2026-11-21 📅 Criado 2024-05-28
2
bojieli/ai-infra-book

《Compreendendo profundamente a infraestrutura de IA: análise quantitativa e projeto de sistemas》 (de Li Bojie), um manuscrito de livro de código aberto: partindo das restrições de hardware e das arquiteturas dos modelos, deriva quantitativamente o projeto de sistemas de inferência e treinamento de LLMs. Inclui o texto completo, o PDF, ferramentas de cálculo complementares e experimentos.

bojieli
⭐ 8,179 Python 👤 bojieli User 🕐 Atualizado 2026-10-01 📅 Criado 2026-08-22
3
sgl-project/mini-sglang

Uma implementação compacta do SGLang, projetada para desmistificar as complexidades dos modernos sistemas de serviço de LLM.

sgl-project
⭐ 5,623 Python 👤 sgl-project Organization 🕐 Atualizado 2026-05-17 📅 Criado 2025-09-01
4
HDT3213/godis

Um Servidor e Cluster Redis implementado em Golang. Servidor e cluster distribuído Redis implementado em Go

HDT3213
⭐ 3,834 Go 👤 HDT3213 User 🕐 Atualizado 2025-09-14 📅 Criado 2019-06-01
5
syv-ai/HyperQwen

Execute modelos Qwen grandes rapidamente nas GPUs que você realmente possui. Qwen3.8-27B em uma única placa de 24 GB com vLLM: 127 tok/s para um único usuário (381 quando a resposta cita o prompt), cerca de 1.035 tok/s com 64 requisições simultâneas e contexto de 150k–262k. Patches do vLLM, pipeline de requantização e benchmarks.

syv-ai
⭐ 2,778 Python 👤 syv-ai Organization 🕐 Atualizado 2026-11-10 📅 Criado 2026-08-15
6
AI-Efficiency/Awesome-Model-Quantization

Uma coleção selecionada de artigos, benchmarks, revisões e ferramentas sobre quantização de modelos, abrangendo redes de poucos bits, LLMs, modelos multimodais e generativos, quantização vetorial e de reticulado, e implantação eficiente.

AI-Efficiency
⭐ 2,471 👤 AI-Efficiency Organization 🕐 Atualizado 2026-11-16 📅 Criado 2018-10-18
7
datawhalechina/zero-to-sglang

Curso oficial da SGLang x Datawhale sobre inferência de LLM: entenda a inferência, construa um mini-SGLang do zero, depois leia o código-fonte real do SGLang e faça seu primeiro PR. Disponível em inglês e chinês.

datawhalechina
⭐ 2,306 Python 👤 datawhalechina Organization 🕐 Atualizado 2026-11-17 📅 Criado 2026-08-27
8
Zefan-Cai/KVCache-Factory

Métodos Unificados de Compressão de Cache KV para Modelos Autorregressivos

Zefan-Cai
⭐ 1,393 Python 👤 Zefan-Cai User 🕐 Atualizado 2026-08-13 📅 Criado 2024-06-05
9
NVIDIA/kvpress

A compressão do cache KV de LLM facilitada

NVIDIA
⭐ 1,258 Python 👤 NVIDIA Organization 🕐 Atualizado 2026-11-16 📅 Criado 2024-11-06
10
harleyszhang/llm_note

Notas sobre LLM, incluindo inferência de modelo, estrutura do modelo transformer e notas de análise de código de framework LLM.

harleyszhang
⭐ 897 Python 👤 harleyszhang User 🕐 Atualizado 2026-08-19 📅 Criado 2024-09-18
11
feifeibear/LLMSpeculativeSampling

Inferência rápida de grandes modelos de linguagem via decodificação especulativa

feifeibear
⭐ 875 Python 👤 feifeibear User 🕐 Atualizado 2024-08-22 📅 Criado 2023-08-16
12
thu-nics/C2C

[ICLR'26] Implementação oficial do código de «Cache-to-Cache: Comunicação semântica direta entre grandes modelos de linguagem»

thu-nics
⭐ 783 Python 👤 thu-nics Organization 🕐 Atualizado 2026-10-28 📅 Criado 2025-10-03
13
pegainfer-project/pegainfer

Motor de inferência LLM puro Rust + CUDA — sem PyTorch, compatível com OpenAI, atende de Qwen3 a Kimi-K2

pegainfer-project
⭐ 748 Rust 👤 pegainfer-project Organization 🕐 Atualizado 2026-11-21 📅 Criado 2026-02-17
14
raymin0223/mixture_of_recursions

Mistura de Recursões: Aprendizagem de Profundidades Recursivas Dinâmicas para Computação Adaptativa ao Nível de Token (NeurIPS 2025)

raymin0223
⭐ 651 Python 👤 raymin0223 User 🕐 Atualizado 2026-09-19 📅 Criado 2025-06-16
15
therealoliver/Deepdive-llama3-from-scratch

Alcance a inferência do llama3 passo a passo, compreenda os conceitos centrais, domine a derivação do processo e implemente o código.

therealoliver
⭐ 629 Jupyter Notebook 👤 therealoliver User 🕐 Atualizado 2025-02-24 📅 Criado 2025-02-19
16
zengxiao-he/tessera

Do professor aos blocos — um mecanismo de destilação e serviço de LLM construído do zero: kernels Triton/CUDA personalizados, destilação FSDP, processamento em lote contínuo com KV paginado, decodificação especulativa, um gateway Rust, um oráculo JAX e ferramentas de interpretabilidade.

zengxiao-he
⭐ 556 Python 👤 zengxiao-he User 🕐 Atualizado 2026-10-09 📅 Criado 2026-06-05
17
OmniJev/Flide

🔥🔥 O mecanismo de inferência extremamente rápido para modelos de decisão

OmniJev
⭐ 550 Python 👤 OmniJev Organization 🕐 Atualizado 2026-11-21 📅 Criado 2026-10-24
18
huawei-csl/KVarN

KVarN é um backend nativo do vLLM para quantização do cache KV dos seus agentes: de 3 a 5 vezes mais contexto, throughput superior ao FP16 e precisão de nível FP16. Sem calibração, basta uma flag.

huawei-csl
⭐ 521 Python 👤 huawei-csl Organization 🕐 Atualizado 2026-06-22 📅 Criado 2026-05-29

Perguntas Frequentes

1

Qual é o repositório de #kv-cache mais popular no GitHub?

O projeto de código aberto de #kv-cache mais bem classificado no GitHub é LMCache/LMCache, com 12,405 estrelas. LMCache: Turbine seu LLM com a camada de cache KV mais rápida

2

Quais linguagens de programação são mais usadas nos repositórios de #kv-cache?

Entre os projetos de #kv-cache mais bem classificados no GitHub, as linguagens de programação mais comuns são Python, Go, Rust, Jupyter Notebook.

3

Como é calculada a classificação dos repositórios de #kv-cache?

Acompanhamos 18 repositórios ativos de código aberto marcados com #kv-cache (com mais de 500 estrelas), totalizando 46,401 estrelas e uma média de 2,577 estrelas por repositório. As classificações são atualizadas diariamente a partir da API do GitHub.