#kv-cache Repositories
Entdecke 18 aktive Open-Source-GitHub-Repositories, die mit #kv-cache getaggt sind und insgesamt 46,401 Sterne gesammelt haben (durchschnittlich 2,577 Sterne pro Projekt). Spitzenreiter in diesem Themenbereich ist LMCache/LMCache mit 12,405 Sternen.
Insgesamt 18 Repositories
《AI-Infrastruktur tiefgehend verstehen: Quantitative Analyse und Systemdesign》 (von Li Bojie), ein Open-Source-Buchmanuskript: Ausgehend von Hardwarebeschränkungen und Modellarchitekturen wird das Design von LLM-Inferenz- und Trainingssystemen quantitativ hergeleitet. Enthält den vollständigen Buchtext, ein PDF, zugehörige Berechnungstools und Experimente.
Eine kompakte Implementierung von SGLang, entwickelt, um die Komplexität moderner LLM-Serving-Systeme zu entmystifizieren.
Ein mit Golang implementierter Redis-Server und -Cluster. Redis-Server und verteilter Cluster, implementiert in der Go-Sprache
Führe große Qwen-Modelle schnell auf den GPUs aus, die du tatsächlich besitzt. Qwen3.8-27B auf einer einzelnen 24-GB-Karte mit vLLM: 127 Tok/s bei einem einzelnen Nutzer (381, wenn die Antwort den Prompt zitiert), etwa 1.035 Tok/s bei 64 gleichzeitigen Anfragen und ein Kontext von 150k–262k. vLLM-Patches, Requantisierungs-Pipeline und Benchmarks.
Eine kuratierte Sammlung von Fachartikeln, Benchmarks, Übersichtsarbeiten und Tools zur Modellquantisierung, die Low-Bit-Netzwerke, LLMs, multimodale und generative Modelle, Vektor- und Gitterquantisierung sowie eine effiziente Bereitstellung abdeckt.
Offizieller SGLang-x-Datawhale-Kurs zur LLM-Inferenz: Verstehe die Inferenz, entwickle ein Mini-SGLang von Grund auf, lies anschließend den echten SGLang-Quellcode und reiche deinen ersten PR ein. Auf Englisch und Chinesisch verfügbar.
Vereinheitlichte KV-Cache-Kompressionsmethoden für autoregressive Modelle
LLM-Notizen, einschließlich Modellinferenz, Transformer-Modellstruktur und Notizen zur Analyse von LLM-Framework-Code.
Schnelle Inferenz von großen Sprachmodellen durch spekulatives Dekodieren
[ICLR'26] Offizielle Code-Implementierung für „Cache-to-Cache: Direkte semantische Kommunikation zwischen großen Sprachmodellen“
Reine Rust + CUDA LLM-Inferenz-Engine — kein PyTorch, OpenAI-kompatibel, bedient Qwen3 bis Kimi-K2
Mischung von Rekursionen: Erlernen dynamischer rekursiver Tiefen für adaptive tokenbasierte Berechnung (NeurIPS 2025)
Erreichen Sie den Llama3-Inferenzschritt für Schritt, erfassen Sie die Kernkonzepte, meistern Sie die Prozessableitung, implementieren Sie den Code.
Vom Lehrer zu Kacheln — eine von Grund auf neu entwickelte LLM-Destillations- und Serving-Engine: benutzerdefinierte Triton/CUDA-Kernel, FSDP-Destillation, kontinuierliches Batching mit paged-KV, spekulative Dekodierung, ein Rust-Gateway, ein JAX-Orakel und Interpretierbarkeitswerkzeuge.
KVarN ist ein natives vLLM-Backend zur Quantisierung des KV-Caches für Ihre Agenten: 3–5× mehr Kontext, ein höherer Durchsatz als bei FP16 und eine Genauigkeit auf FP16-Niveau. Keine Kalibrierung, nur ein Flag.
Häufig gestellte Fragen
Welches ist das beliebteste #kv-cache-Repository auf GitHub?
Das am höchsten eingestufte Open-Source-#kv-cache-Projekt auf GitHub ist LMCache/LMCache mit 12,405 Sternen. LMCache: Beschleunigen Sie Ihr LLM mit der schnellsten KV-Cache-Schicht
Welche Programmiersprachen werden in #kv-cache-Repositories am häufigsten verwendet?
Unter den am höchsten eingestuften #kv-cache-Projekten auf GitHub sind Python, Go, Rust, Jupyter Notebook die am häufigsten verwendeten Programmiersprachen.
Wie wird das Ranking der #kv-cache-Repositories berechnet?
Wir verfolgen 18 aktive Open-Source-Repositories, die mit #kv-cache getaggt sind (500+ Sterne), mit insgesamt 46,401 Sternen und durchschnittlich 2,577 Sternen pro Repository. Die Rankings werden täglich über die GitHub-API aktualisiert.