#post-training-quantization Repositorios
Descubre 12 repositorios activos de código abierto de GitHub etiquetados con #post-training-quantization, que acumulan 21,589 estrellas en total (una media de 1,799 estrellas por proyecto). El líder de este tema es NVIDIA/Model-Optimizer, con 5,646 estrellas.
12 repositorios en total
Una biblioteca unificada de técnicas de optimización de modelos SOTA como cuantización, destilación, poda, búsqueda de arquitectura neuronal, decodificación especulativa, etc. Comprime modelos de aprendizaje profundo para marcos de despliegue posteriores como TensorRT-LLM, TensorRT, vLLM, etc., para optimizar la velocidad de inferencia.
Cuantización LLM de baja precisión SOTA (INT8/FP8/MXFP8/INT4/MXFP4/NVFP4) y esparcidad; técnicas líderes de compresión de modelos en PyTorch, TensorFlow y ONNX Runtime
Una colección seleccionada de artículos, benchmarks, revisiones y herramientas sobre la cuantización de modelos, que abarca redes de pocos bits, LLM, modelos multimodales y generativos, cuantización vectorial y de retícula, y despliegue eficiente.
micronet, una biblioteca de compresión y despliegue de modelos. Compresión: 1、Cuantización: entrenamiento consciente de cuantización(QAT), Alto-Bit(>2b)(DoReFa/Quantization and Training of Neural Networks for Efficient Integer-Arithmetic-Only Inference)、Bajo-Bit(≤2b)/Ternario y Binario(TWN/BNN/XNOR-Net); cuantización post-entrenamiento(PTQ), 8-bit(tensorrt); 2、poda: normal、regular y poda de canales convolucionales en grupo; 3、estructura de convolución en grupo; 4、fusión de normalización por lotes para cuantización. Despliegue: tensorrt, fp32/fp16/in
Código para el artículo de ICLR 2023 "GPTQ: Accurate Post-training Quantization of Generative Pretrained Transformers".
[ICML 2023] SmoothQuant: Cuantización post-entrenamiento precisa y eficiente para modelos de lenguaje grandes
TinyNeuralNetwork es un framework eficiente y fácil de usar para la compresión de modelos de aprendizaje profundo.
Caja de herramientas de compresión de modelos para modelos de lenguaje grandes y modelos de difusión
Preguntas frecuentes
¿Cuál es el repositorio de #post-training-quantization más popular en GitHub?
El proyecto de código abierto de #post-training-quantization mejor posicionado en GitHub es NVIDIA/Model-Optimizer, con 5,646 estrellas. Una biblioteca unificada de técnicas de optimización de modelos SOTA como cuantización, destilación, poda, búsqueda de arquitectura neuronal, decodificación especulativa, etc. Comprime modelos de aprendizaje profundo para marcos de despliegue posteriores como TensorRT-LLM, TensorRT, vLLM, etc., para optimizar la velocidad de inferencia.
¿Qué lenguajes de programación se utilizan más en los repositorios de #post-training-quantization?
Entre los proyectos de #post-training-quantization mejor posicionados en GitHub, los lenguajes de programación más comunes son Python.
¿Cómo se calcula la clasificación de los repositorios de #post-training-quantization?
Seguimos 12 repositorios activos de código abierto etiquetados con #post-training-quantization (500+ estrellas), que suman un total de 21,589 estrellas, con una media de 1,799 estrellas por repositorio. Las clasificaciones se actualizan diariamente a partir de la API de GitHub.