#kv-cache-optimization Repository
Scopri 9 repository GitHub open source attivi contrassegnati con #kv-cache-optimization, che raccolgono un totale di 13,361 stelle (con una media di 1,484 stelle per progetto). Il progetto leader di questo argomento è deepseek-ai/DeepSeek-V2, con 4,988 stelle.
9 repository in totale
DeepSeek-V2: Un modello linguistico Mixture-of-Experts forte, economico ed efficiente
Scarti di ricerca e strumenti eccezionali per la compressione di LLM.
[NeurIPS'24 Spotlight, ICLR'25, ICML'25] Per accelerare l'inferenza dei LLM a lungo contesto, il calcolo approssimato e dinamico sparso dell'attenzione riduce la latenza di inferenza fino a 10 volte per il pre-fill su un A100, mantenendo l'accuratezza.
Gemma 2B con lunghezza di contesto di 10 milioni utilizzando Infini-attention.
Sistema di serving disaggregato per modelli linguistici di grandi dimensioni (LLM).
Domande frequenti
Qual è il repository #kv-cache-optimization più popolare su GitHub?
Il progetto open source #kv-cache-optimization più alto in classifica su GitHub è deepseek-ai/DeepSeek-V2, con 4,988 stelle. DeepSeek-V2: Un modello linguistico Mixture-of-Experts forte, economico ed efficiente
Quali linguaggi di programmazione sono più utilizzati nei repository #kv-cache-optimization?
Tra i progetti #kv-cache-optimization più alti in classifica su GitHub, i linguaggi di programmazione più comuni sono Python, Jupyter Notebook.
Come viene calcolata la classifica dei repository #kv-cache-optimization?
Monitoriamo 9 repository open source attivi contrassegnati con #kv-cache-optimization (500+ stelle), per un totale di 13,361 stelle e una media di 1,484 stelle per repository. Le classifiche vengono aggiornate quotidianamente tramite l’API di GitHub.