Git Stars Git Stars

#kv-cache Repository

Scopri 18 repository GitHub open source attivi contrassegnati con #kv-cache, che raccolgono un totale di 46,401 stelle (con una media di 2,577 stelle per progetto). Il progetto leader di questo argomento è LMCache/LMCache, con 12,405 stelle.

18
Totale Repository
46,401
Totale stelle
2,577
Media Stelle/Repo
Linguaggi di programmazione: Python Go Rust Jupyter Notebook

18 repository in totale

1
LMCache/LMCache

LMCache: Potenzia il tuo LLM con il livello di cache KV più veloce

LMCache
⭐ 12,405 Python 👤 LMCache Organization 🕐 Aggiornato 2026-11-21 📅 Creato 2024-05-28
2
bojieli/ai-infra-book

《Comprendere a fondo l’infrastruttura dell’IA: analisi quantitativa e progettazione dei sistemi》 (di Li Bojie), un manoscritto di libro open source: partendo dai vincoli hardware e dalle architetture dei modelli, deriva quantitativamente la progettazione dei sistemi di inferenza e addestramento degli LLM. Include il testo completo, il PDF, strumenti di calcolo correlati ed esperimenti.

bojieli
⭐ 8,179 Python 👤 bojieli User 🕐 Aggiornato 2026-10-01 📅 Creato 2026-08-22
3
sgl-project/mini-sglang

Un'implementazione compatta di SGLang, progettata per demistificare le complessità dei moderni sistemi di serving LLM.

sgl-project
⭐ 5,623 Python 👤 sgl-project Organization 🕐 Aggiornato 2026-05-17 📅 Creato 2025-09-01
4
HDT3213/godis

Un server e cluster Redis implementato in Golang. Server e cluster distribuito Redis implementato nel linguaggio Go

HDT3213
⭐ 3,834 Go 👤 HDT3213 User 🕐 Aggiornato 2025-09-14 📅 Creato 2019-06-01
5
syv-ai/HyperQwen

Esegui rapidamente modelli Qwen di grandi dimensioni sulle GPU che possiedi davvero. Qwen3.8-27B su una singola scheda da 24 GB con vLLM: 127 tok/s per un singolo utente (381 quando la risposta cita il prompt), circa 1.035 tok/s con 64 richieste simultanee e un contesto di 150k–262k. Patch per vLLM, pipeline di requantizzazione e benchmark.

syv-ai
⭐ 2,778 Python 👤 syv-ai Organization 🕐 Aggiornato 2026-11-10 📅 Creato 2026-08-15
6
AI-Efficiency/Awesome-Model-Quantization

Una raccolta curata di articoli, benchmark, rassegne e strumenti sulla quantizzazione dei modelli, che comprende reti a pochi bit, LLM, modelli multimodali e generativi, quantizzazione vettoriale e reticolare, nonché il deployment efficiente.

AI-Efficiency
⭐ 2,471 👤 AI-Efficiency Organization 🕐 Aggiornato 2026-11-16 📅 Creato 2018-10-18
7
datawhalechina/zero-to-sglang

Corso ufficiale SGLang x Datawhale sull’inferenza degli LLM: comprendi l’inferenza, costruisci un mini-SGLang da zero, poi leggi il vero codice sorgente di SGLang e invia la tua prima PR. Disponibile in inglese e cinese.

datawhalechina
⭐ 2,306 Python 👤 datawhalechina Organization 🕐 Aggiornato 2026-11-17 📅 Creato 2026-08-27
8
Zefan-Cai/KVCache-Factory

Metodi unificati di compressione della cache KV per modelli autoregressivi

Zefan-Cai
⭐ 1,393 Python 👤 Zefan-Cai User 🕐 Aggiornato 2026-08-13 📅 Creato 2024-06-05
9
NVIDIA/kvpress

Compressione della cache KV LLM resa semplice

NVIDIA
⭐ 1,258 Python 👤 NVIDIA Organization 🕐 Aggiornato 2026-11-16 📅 Creato 2024-11-06
10
harleyszhang/llm_note

Note LLM, inclusi inferenza del modello, struttura del modello transformer e note sull'analisi del codice del framework LLM.

harleyszhang
⭐ 897 Python 👤 harleyszhang User 🕐 Aggiornato 2026-08-19 📅 Creato 2024-09-18
11
feifeibear/LLMSpeculativeSampling

Inferenza veloce da modelli linguistici di grandi dimensioni tramite decodifica speculativa

feifeibear
⭐ 875 Python 👤 feifeibear User 🕐 Aggiornato 2024-08-22 📅 Creato 2023-08-16
12
thu-nics/C2C

[ICLR'26] Implementazione ufficiale del codice di «Cache-to-Cache: Comunicazione semantica diretta tra modelli linguistici di grandi dimensioni»

thu-nics
⭐ 783 Python 👤 thu-nics Organization 🕐 Aggiornato 2026-10-28 📅 Creato 2025-10-03
13
pegainfer-project/pegainfer

Motore di inferenza LLM puro Rust + CUDA — nessun PyTorch, compatibile con OpenAI, serve da Qwen3 a Kimi-K2

pegainfer-project
⭐ 748 Rust 👤 pegainfer-project Organization 🕐 Aggiornato 2026-11-21 📅 Creato 2026-02-17
14
raymin0223/mixture_of_recursions

Miscela di Ricorsioni: Apprendimento di Profondità Ricorsive Dinamiche per il Calcolo Adattivo a Livello di Token (NeurIPS 2025)

raymin0223
⭐ 651 Python 👤 raymin0223 User 🕐 Aggiornato 2026-09-19 📅 Creato 2025-06-16
15
therealoliver/Deepdive-llama3-from-scratch

Realizza il passaggio di inferenza di llama3 passo dopo passo, afferra i concetti fondamentali, padroneggia la derivazione del processo, implementa il codice.

therealoliver
⭐ 629 Jupyter Notebook 👤 therealoliver User 🕐 Aggiornato 2025-02-24 📅 Creato 2025-02-19
16
zengxiao-he/tessera

Da insegnante a tessere — un motore di distillazione e servizio LLM costruito da zero: kernel Triton/CUDA personalizzati, distillazione FSDP, elaborazione batch continua con KV paginato, decodifica speculativa, un gateway Rust, un oracolo JAX e strumenti di interpretabilità.

zengxiao-he
⭐ 556 Python 👤 zengxiao-he User 🕐 Aggiornato 2026-10-09 📅 Creato 2026-06-05
17
OmniJev/Flide

🔥🔥 Il motore di inferenza estremamente veloce per i modelli decisionali

OmniJev
⭐ 550 Python 👤 OmniJev Organization 🕐 Aggiornato 2026-11-21 📅 Creato 2026-10-24
18
huawei-csl/KVarN

KVarN è un backend nativo di vLLM per la quantizzazione della cache KV dei tuoi agenti: da 3 a 5 volte più contesto, throughput superiore a FP16 e accuratezza di livello FP16. Senza calibrazione, basta un flag.

huawei-csl
⭐ 521 Python 👤 huawei-csl Organization 🕐 Aggiornato 2026-06-22 📅 Creato 2026-05-29

Domande frequenti

1

Qual è il repository #kv-cache più popolare su GitHub?

Il progetto open source #kv-cache più alto in classifica su GitHub è LMCache/LMCache, con 12,405 stelle. LMCache: Potenzia il tuo LLM con il livello di cache KV più veloce

2

Quali linguaggi di programmazione sono più utilizzati nei repository #kv-cache?

Tra i progetti #kv-cache più alti in classifica su GitHub, i linguaggi di programmazione più comuni sono Python, Go, Rust, Jupyter Notebook.

3

Come viene calcolata la classifica dei repository #kv-cache?

Monitoriamo 18 repository open source attivi contrassegnati con #kv-cache (500+ stelle), per un totale di 46,401 stelle e una media di 2,577 stelle per repository. Le classifiche vengono aggiornate quotidianamente tramite l’API di GitHub.