#kv-cache-optimization Repositories
Entdecke 9 aktive Open-Source-GitHub-Repositories, die mit #kv-cache-optimization getaggt sind und insgesamt 13,361 Sterne gesammelt haben (durchschnittlich 1,484 Sterne pro Projekt). Spitzenreiter in diesem Themenbereich ist deepseek-ai/DeepSeek-V2 mit 4,988 Sternen.
Insgesamt 9 Repositories
DeepSeek-V2: Ein starkes, wirtschaftliches und effizientes Mixture-of-Experts Sprachmodell
Hervorragende Forschungsarbeiten und Werkzeuge zur Komprimierung von LLMs.
[NeurIPS'24 Spotlight, ICLR'25, ICML'25] Um die Inferenz von Long-Context-LLMs zu beschleunigen, berechnen approximative und dynamische dichte Berechnungen die Aufmerksamkeit, was die Inferenzlatenz beim Vorabfüllen auf einer A100 um bis zu 10x reduziert, während die Genauigkeit erhalten bleibt.
Gemma 2B mit einer Kontextlänge von 10 Mio. unter Verwendung von Infini-Attention.
Häufig gestellte Fragen
Welches ist das beliebteste #kv-cache-optimization-Repository auf GitHub?
Das am höchsten eingestufte Open-Source-#kv-cache-optimization-Projekt auf GitHub ist deepseek-ai/DeepSeek-V2 mit 4,988 Sternen. DeepSeek-V2: Ein starkes, wirtschaftliches und effizientes Mixture-of-Experts Sprachmodell
Welche Programmiersprachen werden in #kv-cache-optimization-Repositories am häufigsten verwendet?
Unter den am höchsten eingestuften #kv-cache-optimization-Projekten auf GitHub sind Python, Jupyter Notebook die am häufigsten verwendeten Programmiersprachen.
Wie wird das Ranking der #kv-cache-optimization-Repositories berechnet?
Wir verfolgen 9 aktive Open-Source-Repositories, die mit #kv-cache-optimization getaggt sind (500+ Sterne), mit insgesamt 13,361 Sternen und durchschnittlich 1,484 Sternen pro Repository. Die Rankings werden täglich über die GitHub-API aktualisiert.