Git Stars Git Stars

#kv-cache Repositories

Entdecke 18 aktive Open-Source-GitHub-Repositories, die mit #kv-cache getaggt sind und insgesamt 46,401 Sterne gesammelt haben (durchschnittlich 2,577 Sterne pro Projekt). Spitzenreiter in diesem Themenbereich ist LMCache/LMCache mit 12,405 Sternen.

18
Gesamtzahl der Repositories
46,401
Gesamtanzahl der Sterne
2,577
Durchschnittliche Sterne/Repo

Insgesamt 18 Repositories

1
LMCache/LMCache

LMCache: Beschleunigen Sie Ihr LLM mit der schnellsten KV-Cache-Schicht

LMCache
⭐ 12,405 Python 👤 LMCache Organization 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2024-05-28
2
bojieli/ai-infra-book

《AI-Infrastruktur tiefgehend verstehen: Quantitative Analyse und Systemdesign》 (von Li Bojie), ein Open-Source-Buchmanuskript: Ausgehend von Hardwarebeschränkungen und Modellarchitekturen wird das Design von LLM-Inferenz- und Trainingssystemen quantitativ hergeleitet. Enthält den vollständigen Buchtext, ein PDF, zugehörige Berechnungstools und Experimente.

bojieli
⭐ 8,179 Python 👤 bojieli User 🕐 Aktualisiert 2026-10-01 📅 Erstellt 2026-08-22
3
sgl-project/mini-sglang

Eine kompakte Implementierung von SGLang, entwickelt, um die Komplexität moderner LLM-Serving-Systeme zu entmystifizieren.

sgl-project
⭐ 5,623 Python 👤 sgl-project Organization 🕐 Aktualisiert 2026-05-17 📅 Erstellt 2025-09-01
4
HDT3213/godis

Ein mit Golang implementierter Redis-Server und -Cluster. Redis-Server und verteilter Cluster, implementiert in der Go-Sprache

HDT3213
⭐ 3,834 Go 👤 HDT3213 User 🕐 Aktualisiert 2025-09-14 📅 Erstellt 2019-06-01
5
syv-ai/HyperQwen

Führe große Qwen-Modelle schnell auf den GPUs aus, die du tatsächlich besitzt. Qwen3.8-27B auf einer einzelnen 24-GB-Karte mit vLLM: 127 Tok/s bei einem einzelnen Nutzer (381, wenn die Antwort den Prompt zitiert), etwa 1.035 Tok/s bei 64 gleichzeitigen Anfragen und ein Kontext von 150k–262k. vLLM-Patches, Requantisierungs-Pipeline und Benchmarks.

syv-ai
⭐ 2,778 Python 👤 syv-ai Organization 🕐 Aktualisiert 2026-11-10 📅 Erstellt 2026-08-15
6
AI-Efficiency/Awesome-Model-Quantization

Eine kuratierte Sammlung von Fachartikeln, Benchmarks, Übersichtsarbeiten und Tools zur Modellquantisierung, die Low-Bit-Netzwerke, LLMs, multimodale und generative Modelle, Vektor- und Gitterquantisierung sowie eine effiziente Bereitstellung abdeckt.

AI-Efficiency
⭐ 2,471 👤 AI-Efficiency Organization 🕐 Aktualisiert 2026-11-16 📅 Erstellt 2018-10-18
7
datawhalechina/zero-to-sglang

Offizieller SGLang-x-Datawhale-Kurs zur LLM-Inferenz: Verstehe die Inferenz, entwickle ein Mini-SGLang von Grund auf, lies anschließend den echten SGLang-Quellcode und reiche deinen ersten PR ein. Auf Englisch und Chinesisch verfügbar.

datawhalechina
⭐ 2,306 Python 👤 datawhalechina Organization 🕐 Aktualisiert 2026-11-17 📅 Erstellt 2026-08-27
8
Zefan-Cai/KVCache-Factory

Vereinheitlichte KV-Cache-Kompressionsmethoden für autoregressive Modelle

Zefan-Cai
⭐ 1,393 Python 👤 Zefan-Cai User 🕐 Aktualisiert 2026-08-13 📅 Erstellt 2024-06-05
9
NVIDIA/kvpress

LLM KV-Cache-Kompression leicht gemacht

NVIDIA
⭐ 1,258 Python 👤 NVIDIA Organization 🕐 Aktualisiert 2026-11-16 📅 Erstellt 2024-11-06
10
harleyszhang/llm_note

LLM-Notizen, einschließlich Modellinferenz, Transformer-Modellstruktur und Notizen zur Analyse von LLM-Framework-Code.

harleyszhang
⭐ 897 Python 👤 harleyszhang User 🕐 Aktualisiert 2026-08-19 📅 Erstellt 2024-09-18
11
feifeibear/LLMSpeculativeSampling

Schnelle Inferenz von großen Sprachmodellen durch spekulatives Dekodieren

feifeibear
⭐ 875 Python 👤 feifeibear User 🕐 Aktualisiert 2024-08-22 📅 Erstellt 2023-08-16
12
thu-nics/C2C

[ICLR'26] Offizielle Code-Implementierung für „Cache-to-Cache: Direkte semantische Kommunikation zwischen großen Sprachmodellen“

thu-nics
⭐ 783 Python 👤 thu-nics Organization 🕐 Aktualisiert 2026-10-28 📅 Erstellt 2025-10-03
13
pegainfer-project/pegainfer

Reine Rust + CUDA LLM-Inferenz-Engine — kein PyTorch, OpenAI-kompatibel, bedient Qwen3 bis Kimi-K2

pegainfer-project
⭐ 748 Rust 👤 pegainfer-project Organization 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2026-02-17
14
raymin0223/mixture_of_recursions

Mischung von Rekursionen: Erlernen dynamischer rekursiver Tiefen für adaptive tokenbasierte Berechnung (NeurIPS 2025)

raymin0223
⭐ 651 Python 👤 raymin0223 User 🕐 Aktualisiert 2026-09-19 📅 Erstellt 2025-06-16
15
therealoliver/Deepdive-llama3-from-scratch

Erreichen Sie den Llama3-Inferenzschritt für Schritt, erfassen Sie die Kernkonzepte, meistern Sie die Prozessableitung, implementieren Sie den Code.

therealoliver
⭐ 629 Jupyter Notebook 👤 therealoliver User 🕐 Aktualisiert 2025-02-24 📅 Erstellt 2025-02-19
16
zengxiao-he/tessera

Vom Lehrer zu Kacheln — eine von Grund auf neu entwickelte LLM-Destillations- und Serving-Engine: benutzerdefinierte Triton/CUDA-Kernel, FSDP-Destillation, kontinuierliches Batching mit paged-KV, spekulative Dekodierung, ein Rust-Gateway, ein JAX-Orakel und Interpretierbarkeitswerkzeuge.

zengxiao-he
⭐ 556 Python 👤 zengxiao-he User 🕐 Aktualisiert 2026-10-09 📅 Erstellt 2026-06-05
17
OmniJev/Flide

🔥🔥 Die extrem schnelle Inferenz-Engine für Entscheidungsmodelle

OmniJev
⭐ 550 Python 👤 OmniJev Organization 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2026-10-24
18
huawei-csl/KVarN

KVarN ist ein natives vLLM-Backend zur Quantisierung des KV-Caches für Ihre Agenten: 3–5× mehr Kontext, ein höherer Durchsatz als bei FP16 und eine Genauigkeit auf FP16-Niveau. Keine Kalibrierung, nur ein Flag.

huawei-csl
⭐ 521 Python 👤 huawei-csl Organization 🕐 Aktualisiert 2026-06-22 📅 Erstellt 2026-05-29

Häufig gestellte Fragen

1

Welches ist das beliebteste #kv-cache-Repository auf GitHub?

Das am höchsten eingestufte Open-Source-#kv-cache-Projekt auf GitHub ist LMCache/LMCache mit 12,405 Sternen. LMCache: Beschleunigen Sie Ihr LLM mit der schnellsten KV-Cache-Schicht

2

Welche Programmiersprachen werden in #kv-cache-Repositories am häufigsten verwendet?

Unter den am höchsten eingestuften #kv-cache-Projekten auf GitHub sind Python, Go, Rust, Jupyter Notebook die am häufigsten verwendeten Programmiersprachen.

3

Wie wird das Ranking der #kv-cache-Repositories berechnet?

Wir verfolgen 18 aktive Open-Source-Repositories, die mit #kv-cache getaggt sind (500+ Sterne), mit insgesamt 46,401 Sternen und durchschnittlich 2,577 Sternen pro Repository. Die Rankings werden täglich über die GitHub-API aktualisiert.