#kv-cache Repository
Scopri 18 repository GitHub open source attivi contrassegnati con #kv-cache, che raccolgono un totale di 46,401 stelle (con una media di 2,577 stelle per progetto). Il progetto leader di questo argomento è LMCache/LMCache, con 12,405 stelle.
18 repository in totale
《Comprendere a fondo l’infrastruttura dell’IA: analisi quantitativa e progettazione dei sistemi》 (di Li Bojie), un manoscritto di libro open source: partendo dai vincoli hardware e dalle architetture dei modelli, deriva quantitativamente la progettazione dei sistemi di inferenza e addestramento degli LLM. Include il testo completo, il PDF, strumenti di calcolo correlati ed esperimenti.
Un'implementazione compatta di SGLang, progettata per demistificare le complessità dei moderni sistemi di serving LLM.
Un server e cluster Redis implementato in Golang. Server e cluster distribuito Redis implementato nel linguaggio Go
Esegui rapidamente modelli Qwen di grandi dimensioni sulle GPU che possiedi davvero. Qwen3.8-27B su una singola scheda da 24 GB con vLLM: 127 tok/s per un singolo utente (381 quando la risposta cita il prompt), circa 1.035 tok/s con 64 richieste simultanee e un contesto di 150k–262k. Patch per vLLM, pipeline di requantizzazione e benchmark.
Una raccolta curata di articoli, benchmark, rassegne e strumenti sulla quantizzazione dei modelli, che comprende reti a pochi bit, LLM, modelli multimodali e generativi, quantizzazione vettoriale e reticolare, nonché il deployment efficiente.
Corso ufficiale SGLang x Datawhale sull’inferenza degli LLM: comprendi l’inferenza, costruisci un mini-SGLang da zero, poi leggi il vero codice sorgente di SGLang e invia la tua prima PR. Disponibile in inglese e cinese.
Metodi unificati di compressione della cache KV per modelli autoregressivi
Note LLM, inclusi inferenza del modello, struttura del modello transformer e note sull'analisi del codice del framework LLM.
Inferenza veloce da modelli linguistici di grandi dimensioni tramite decodifica speculativa
[ICLR'26] Implementazione ufficiale del codice di «Cache-to-Cache: Comunicazione semantica diretta tra modelli linguistici di grandi dimensioni»
Motore di inferenza LLM puro Rust + CUDA — nessun PyTorch, compatibile con OpenAI, serve da Qwen3 a Kimi-K2
Miscela di Ricorsioni: Apprendimento di Profondità Ricorsive Dinamiche per il Calcolo Adattivo a Livello di Token (NeurIPS 2025)
Realizza il passaggio di inferenza di llama3 passo dopo passo, afferra i concetti fondamentali, padroneggia la derivazione del processo, implementa il codice.
Da insegnante a tessere — un motore di distillazione e servizio LLM costruito da zero: kernel Triton/CUDA personalizzati, distillazione FSDP, elaborazione batch continua con KV paginato, decodifica speculativa, un gateway Rust, un oracolo JAX e strumenti di interpretabilità.
KVarN è un backend nativo di vLLM per la quantizzazione della cache KV dei tuoi agenti: da 3 a 5 volte più contesto, throughput superiore a FP16 e accuratezza di livello FP16. Senza calibrazione, basta un flag.
Domande frequenti
Qual è il repository #kv-cache più popolare su GitHub?
Il progetto open source #kv-cache più alto in classifica su GitHub è LMCache/LMCache, con 12,405 stelle. LMCache: Potenzia il tuo LLM con il livello di cache KV più veloce
Quali linguaggi di programmazione sono più utilizzati nei repository #kv-cache?
Tra i progetti #kv-cache più alti in classifica su GitHub, i linguaggi di programmazione più comuni sono Python, Go, Rust, Jupyter Notebook.
Come viene calcolata la classifica dei repository #kv-cache?
Monitoriamo 18 repository open source attivi contrassegnati con #kv-cache (500+ stelle), per un totale di 46,401 stelle e una media di 2,577 stelle per repository. Le classifiche vengono aggiornate quotidianamente tramite l’API di GitHub.