#llm-inference-acceleration Repository
Scopri 6 repository GitHub open source attivi contrassegnati con #llm-inference-acceleration, che raccolgono un totale di 6,745 stelle (con una media di 1,124 stelle per progetto). Il progetto leader di questo argomento è ByteDance-Seed/Triton-distributed, con 1,587 stelle.
6 repository in totale
[ICML 2024] Interrompere la dipendenza sequenziale dell'inferenza LLM utilizzando la decodifica lookahead
Repository ufficiale Pytorch per la compressione estrema di Large Language Models tramite quantizzazione additiva https://arxiv.org/pdf/2401.06118.pdf e PV-Tuning: Oltre la stima diretta per la compressione estrema di LLM https://arxiv.org/abs/2405.14852
Domande frequenti
Qual è il repository #llm-inference-acceleration più popolare su GitHub?
Il progetto open source #llm-inference-acceleration più alto in classifica su GitHub è ByteDance-Seed/Triton-distributed, con 1,587 stelle. Compilatore distribuito e kernel paralleli ottimizzati
Quali linguaggi di programmazione sono più utilizzati nei repository #llm-inference-acceleration?
Tra i progetti #llm-inference-acceleration più alti in classifica su GitHub, i linguaggi di programmazione più comuni sono Python, Jupyter Notebook.
Come viene calcolata la classifica dei repository #llm-inference-acceleration?
Monitoriamo 6 repository open source attivi contrassegnati con #llm-inference-acceleration (500+ stelle), per un totale di 6,745 stelle e una media di 1,124 stelle per repository. Le classifiche vengono aggiornate quotidianamente tramite l’API di GitHub.