#post-training-quantization Dépôts
Découvrez 12 dépôts GitHub open source actifs associés à #post-training-quantization, cumulant 21,589 étoiles au total (soit une moyenne de 1,799 étoiles par projet). Le projet en tête de ce thème est NVIDIA/Model-Optimizer, avec 5,646 étoiles.
12 dépôts au total
Une bibliothèque unifiée de techniques d'optimisation de modèles SOTA telles que la quantification, la distillation, l'élagage, la recherche d'architecture neuronale, le décodage spéculatif, etc. Elle compresse les modèles d'apprentissage profond pour les frameworks de déploiement en aval tels que TensorRT-LLM, TensorRT, vLLM, etc., afin d'optimiser la vitesse d'inférence.
Quantification LLM SOTA à faible nombre de bits (INT8/FP8/MXFP8/INT4/MXFP4/NVFP4) et sparsité ; techniques de compression de modèles de pointe sur PyTorch, TensorFlow et ONNX Runtime
Une collection organisée d’articles, de benchmarks, de travaux de synthèse et d’outils sur la quantification des modèles, couvrant les réseaux à faible nombre de bits, les LLM, les modèles multimodaux et génératifs, la quantification vectorielle et par réseau, ainsi que le déploiement efficace.
micronet, une bibliothèque de compression et de déploiement de modèles. Compression : 1、quantification : entraînement conscient de la quantification(QAT), High-Bit(>2b)(DoReFa/Quantization and Training of Neural Networks for Efficient Integer-Arithmetic-Only Inference)、Low-Bit(≤2b)/Ternaire et Binaire(TWN/BNN/XNOR-Net) ; quantification post-entraînement(PTQ), 8-bit(tensorrt) ; 2、élagage : normal、régulier et élagage de canaux convolutifs en groupe ; 3、structure de convolution en groupe ; 4、fusion de normalisation par lots pour la quantification. Déploiement : tensorrt, fp32/fp16/in
Code pour le document ICLR 2023 "GPTQ: Accurate Post-training Quantization of Generative Pretrained Transformers".
[ICML 2023] SmoothQuant : Quantification post-entraînement précise et efficace pour les grands modèles linguistiques
TinyNeuralNetwork est un framework efficace et facile à utiliser pour la compression de modèles d'apprentissage profond.
Boîte à outils de compression de modèles pour les grands modèles linguistiques et les modèles de diffusion
Foire aux questions
Quel est le dépôt #post-training-quantization le plus populaire sur GitHub ?
Le projet #post-training-quantization open source le mieux classé sur GitHub est NVIDIA/Model-Optimizer, avec 5,646 étoiles. Une bibliothèque unifiée de techniques d'optimisation de modèles SOTA telles que la quantification, la distillation, l'élagage, la recherche d'architecture neuronale, le décodage spéculatif, etc. Elle compresse les modèles d'apprentissage profond pour les frameworks de déploiement en aval tels que TensorRT-LLM, TensorRT, vLLM, etc., afin d'optimiser la vitesse d'inférence.
Quels langages de programmation sont les plus utilisés dans les dépôts #post-training-quantization ?
Parmi les projets #post-training-quantization les mieux classés sur GitHub, les langages de programmation les plus courants sont Python.
Comment le classement des dépôts #post-training-quantization est-il calculé ?
Nous suivons 12 dépôts open source actifs associés à #post-training-quantization (500+ étoiles), totalisant 21,589 étoiles, avec une moyenne de 1,799 étoiles par dépôt. Les classements sont mis à jour quotidiennement à partir de l’API GitHub.