#ai-inference-acceleration Repository
Scopri 3 repository GitHub open source attivi contrassegnati con #ai-inference-acceleration, che raccolgono un totale di 8,097 stelle (con una media di 2,699 stelle per progetto). Il progetto leader di questo argomento è NVIDIA/Model-Optimizer, con 5,646 stelle.
3 repository in totale
Una libreria unificata di tecniche di ottimizzazione dei modelli SOTA come quantizzazione, distillazione, pruning, ricerca di architetture neurali, decodifica speculativa, ecc. Comprime i modelli di deep learning per framework di distribuzione a valle come TensorRT-LLM, TensorRT, vLLM, ecc., per ottimizzare la velocità di inferenza.
Domande frequenti
Qual è il repository #ai-inference-acceleration più popolare su GitHub?
Il progetto open source #ai-inference-acceleration più alto in classifica su GitHub è NVIDIA/Model-Optimizer, con 5,646 stelle. Una libreria unificata di tecniche di ottimizzazione dei modelli SOTA come quantizzazione, distillazione, pruning, ricerca di architetture neurali, decodifica speculativa, ecc. Comprime i modelli di deep learning per framework di distribuzione a valle come TensorRT-LLM, TensorRT, vLLM, ecc., per ottimizzare la velocità di inferenza.
Quali linguaggi di programmazione sono più utilizzati nei repository #ai-inference-acceleration?
Tra i progetti #ai-inference-acceleration più alti in classifica su GitHub, i linguaggi di programmazione più comuni sono Python, C++.
Come viene calcolata la classifica dei repository #ai-inference-acceleration?
Monitoriamo 3 repository open source attivi contrassegnati con #ai-inference-acceleration (500+ stelle), per un totale di 8,097 stelle e una media di 2,699 stelle per repository. Le classifiche vengono aggiornate quotidianamente tramite l’API di GitHub.