#post-training-quantization Repository
Scopri 12 repository GitHub open source attivi contrassegnati con #post-training-quantization, che raccolgono un totale di 21,589 stelle (con una media di 1,799 stelle per progetto). Il progetto leader di questo argomento è NVIDIA/Model-Optimizer, con 5,646 stelle.
12 repository in totale
Una libreria unificata di tecniche di ottimizzazione dei modelli SOTA come quantizzazione, distillazione, pruning, ricerca di architetture neurali, decodifica speculativa, ecc. Comprime i modelli di deep learning per framework di distribuzione a valle come TensorRT-LLM, TensorRT, vLLM, ecc., per ottimizzare la velocità di inferenza.
Quantizzazione LLM a basso bit SOTA (INT8/FP8/MXFP8/INT4/MXFP4/NVFP4) e sparsità; tecniche leader di compressione del modello su PyTorch, TensorFlow e ONNX Runtime
Una raccolta curata di articoli, benchmark, rassegne e strumenti sulla quantizzazione dei modelli, che comprende reti a pochi bit, LLM, modelli multimodali e generativi, quantizzazione vettoriale e reticolare, nonché il deployment efficiente.
micronet, una libreria per compressione e deployment di modelli. Compressione: 1、Quantizzazione: training-aware quantization(QAT), High-Bit(>2b)(DoReFa/Quantization and Training of Neural Networks for Efficient Integer-Arithmetic-Only Inference)、Low-Bit(≤2b)/Ternario e Binario(TWN/BNN/XNOR-Net); quantizzazione post-training(PTQ), 8-bit(tensorrt); 2、potatura: normale、regolare e potatura di canali convoluzionali di gruppo; 3、struttura di convoluzione di gruppo; 4、fusione di normalizzazione batch per quantizzazione. Deployment: tensorrt, fp32/fp16/in
Codice per l'articolo ICLR 2023 "GPTQ: Accurate Post-training Quantization of Generative Pretrained Transformers".
[ICML 2023] SmoothQuant: Quantizzazione Post-Training Accurata ed Efficiente per Grandi Modelli Linguistici
TinyNeuralNetwork è un framework efficiente e facile da usare per la compressione di modelli di deep learning.
Toolbox per la Compressione di Modelli per Grandi Modelli Linguistici e Modelli di Diffusione
Domande frequenti
Qual è il repository #post-training-quantization più popolare su GitHub?
Il progetto open source #post-training-quantization più alto in classifica su GitHub è NVIDIA/Model-Optimizer, con 5,646 stelle. Una libreria unificata di tecniche di ottimizzazione dei modelli SOTA come quantizzazione, distillazione, pruning, ricerca di architetture neurali, decodifica speculativa, ecc. Comprime i modelli di deep learning per framework di distribuzione a valle come TensorRT-LLM, TensorRT, vLLM, ecc., per ottimizzare la velocità di inferenza.
Quali linguaggi di programmazione sono più utilizzati nei repository #post-training-quantization?
Tra i progetti #post-training-quantization più alti in classifica su GitHub, i linguaggi di programmazione più comuni sono Python.
Come viene calcolata la classifica dei repository #post-training-quantization?
Monitoriamo 12 repository open source attivi contrassegnati con #post-training-quantization (500+ stelle), per un totale di 21,589 stelle e una media di 1,799 stelle per repository. Le classifiche vengono aggiornate quotidianamente tramite l’API di GitHub.