#post-training-quantization Repositórios
Descubra 12 repositórios ativos de código aberto no GitHub marcados com #post-training-quantization, acumulando um total de 21,589 estrelas (uma média de 1,799 por projeto). O líder deste tópico é NVIDIA/Model-Optimizer, com 5,646 estrelas.
12 repositórios no total
Uma biblioteca unificada de técnicas de otimização de modelos SOTA, como quantização, destilação, poda (pruning), busca de arquitetura neural, decodificação especulativa, etc. Ela comprime modelos de aprendizado profundo para frameworks de implantação downstream como TensorRT-LLM, TensorRT, vLLM, etc., para otimizar a velocidade de inferência.
Quantização LLM de baixo bit SOTA (INT8/FP8/MXFP8/INT4/MXFP4/NVFP4) e esparsidade; técnicas líderes de compressão de modelos em PyTorch, TensorFlow e ONNX Runtime
Uma coleção selecionada de artigos, benchmarks, revisões e ferramentas sobre quantização de modelos, abrangendo redes de poucos bits, LLMs, modelos multimodais e generativos, quantização vetorial e de reticulado, e implantação eficiente.
micronet, uma biblioteca de compressão e implantação de modelos. compressão: 1、quantização: treinamento ciente de quantização (QAT), High-Bit(>2b)(DoReFa/Quantization and Training of Neural Networks for Efficient Integer-Arithmetic-Only Inference), Low-Bit(≤2b)/Ternary and Binary(TWN/BNN/XNOR-Net); quantização pós-treinamento (PTQ), 8-bit(tensorrt); 2、 poda: poda de canal de convolução normal, regular e em grupo; 3、 estrutura de convolução em grupo; 4、 fusão de normalização em lote para quantização. implantação: tensorrt, fp32/fp16/in
Código para o artigo da ICLR 2023 "GPTQ: Quantização Pós-Treinamento Precisa de Transformers Generativos Pré-treinados".
[ICML 2023] SmoothQuant: Quantização Pós-Treinamento Precisa e Eficiente para Grandes Modelos de Linguagem
TinyNeuralNetwork é um framework de compressão de redes neurais profundas eficiente e fácil de usar.
Caixa de Ferramentas de Compressão de Modelos para Grandes Modelos de Linguagem e Modelos de Difusão
Perguntas Frequentes
Qual é o repositório de #post-training-quantization mais popular no GitHub?
O projeto de código aberto de #post-training-quantization mais bem classificado no GitHub é NVIDIA/Model-Optimizer, com 5,646 estrelas. Uma biblioteca unificada de técnicas de otimização de modelos SOTA, como quantização, destilação, poda (pruning), busca de arquitetura neural, decodificação especulativa, etc. Ela comprime modelos de aprendizado profundo para frameworks de implantação downstream como TensorRT-LLM, TensorRT, vLLM, etc., para otimizar a velocidade de inferência.
Quais linguagens de programação são mais usadas nos repositórios de #post-training-quantization?
Entre os projetos de #post-training-quantization mais bem classificados no GitHub, as linguagens de programação mais comuns são Python.
Como é calculada a classificação dos repositórios de #post-training-quantization?
Acompanhamos 12 repositórios ativos de código aberto marcados com #post-training-quantization (com mais de 500 estrelas), totalizando 21,589 estrelas e uma média de 1,799 estrelas por repositório. As classificações são atualizadas diariamente a partir da API do GitHub.