#post-training-quantization Repositories
Entdecke 12 aktive Open-Source-GitHub-Repositories, die mit #post-training-quantization getaggt sind und insgesamt 21,589 Sterne gesammelt haben (durchschnittlich 1,799 Sterne pro Projekt). Spitzenreiter in diesem Themenbereich ist NVIDIA/Model-Optimizer mit 5,646 Sternen.
Insgesamt 12 Repositories
Eine einheitliche Bibliothek für SOTA-Modelloptimierungstechniken wie Quantisierung, Destillation, Pruning, neuronale Architektursuche, spekulative Dekodierung usw. Sie komprimiert Deep-Learning-Modelle für nachgelagerte Bereitstellungs-Frameworks wie TensorRT-LLM, TensorRT, vLLM usw., um die Inferenzgeschwindigkeit zu optimieren.
SOTA Low-Bit-LLM-Quantisierung (INT8/FP8/MXFP8/INT4/MXFP4/NVFP4) und Sparsity; führende Modellkomprimierungstechniken auf PyTorch, TensorFlow und ONNX Runtime
Eine kuratierte Sammlung von Fachartikeln, Benchmarks, Übersichtsarbeiten und Tools zur Modellquantisierung, die Low-Bit-Netzwerke, LLMs, multimodale und generative Modelle, Vektor- und Gitterquantisierung sowie eine effiziente Bereitstellung abdeckt.
micronet, eine Bibliothek für Modellkompression und Deployment. Kompression: 1、Quantisierung: Quantisierungs-bewusstes Training(QAT), High-Bit(>2b)(DoReFa/Quantization and Training of Neural Networks for Efficient Integer-Arithmetic-Only Inference)、Low-Bit(≤2b)/Ternary and Binary(TWN/BNN/XNOR-Net); Post-Training-Quantisierung(PTQ), 8-Bit(tensorrt); 2、Pruning: normal、regular and group convolutional channel pruning; 3、Gruppenkonvolutionsstruktur; 4、Batch-Normalisierungs-Fusion für Quantisierung. Deployment: tensorrt, fp32/fp16/in
Code für das ICLR 2023-Paper "GPTQ: Accurate Post-training Quantization of Generative Pretrained Transformers".
[ICML 2023] SmoothQuant: Genauer und effizienter Post-Training-Quantisierung für große Sprachmodelle
TinyNeuralNetwork ist ein effizientes und einfach zu bedienendes Framework für die Komprimierung von Deep-Learning-Modellen.
Modelkomprimierungs-Toolbox für große Sprachmodelle und Diffusionsmodelle
Häufig gestellte Fragen
Welches ist das beliebteste #post-training-quantization-Repository auf GitHub?
Das am höchsten eingestufte Open-Source-#post-training-quantization-Projekt auf GitHub ist NVIDIA/Model-Optimizer mit 5,646 Sternen. Eine einheitliche Bibliothek für SOTA-Modelloptimierungstechniken wie Quantisierung, Destillation, Pruning, neuronale Architektursuche, spekulative Dekodierung usw. Sie komprimiert Deep-Learning-Modelle für nachgelagerte Bereitstellungs-Frameworks wie TensorRT-LLM, TensorRT, vLLM usw., um die Inferenzgeschwindigkeit zu optimieren.
Welche Programmiersprachen werden in #post-training-quantization-Repositories am häufigsten verwendet?
Unter den am höchsten eingestuften #post-training-quantization-Projekten auf GitHub sind Python die am häufigsten verwendeten Programmiersprachen.
Wie wird das Ranking der #post-training-quantization-Repositories berechnet?
Wir verfolgen 12 aktive Open-Source-Repositories, die mit #post-training-quantization getaggt sind (500+ Sterne), mit insgesamt 21,589 Sternen und durchschnittlich 1,799 Sternen pro Repository. Die Rankings werden täglich über die GitHub-API aktualisiert.