#post-training-quantization 仓库
探索 12 个标记为 #post-training-quantization 的活跃开源 GitHub 仓库,它们累计获得 21,589 个 Star(平均每个项目 1,799 个)。该主题的领先项目是 NVIDIA/Model-Optimizer,拥有 5,646 个 Star。
共 12 个仓库
一个统一的 SOTA 模型优化技术库,包含量化、蒸馏、剪枝、神经架构搜索、推测解码等技术。它为 TensorRT-LLM、TensorRT、vLLM 等下游部署框架压缩深度学习模型,以优化推理速度。
最先进(SOTA)的低位LLM量化(INT8/FP8/MXFP8/INT4/MXFP4/NVFP4)和稀疏性;在PyTorch、TensorFlow和ONNX Runtime上领先的模型压缩技术
精选的模型量化论文、基准测试、综述和工具集合,涵盖低比特网络、大语言模型、多模态与生成模型、矢量量化和格量化,以及高效部署。
micronet,一个模型压缩和部署库。压缩:1、量化:量化感知训练(QAT),高位(>2b)(DoReFa/Quantization and Training of Neural Networks for Efficient Integer-Arithmetic-Only Inference)、低位(≤2b)/三元和二元(TWN/BNN/XNOR-Net);后训练量化(PTQ),8位(tensorrt);2、剪枝:正常、规则和组卷积通道剪枝;3、组卷积结构;4、批量归一化融合用于量化。部署:tensorrt, fp32/fp16/in
ICLR 2023 论文“GPTQ: Accurate Post-training Quantization of Generative Pretrained Transformers”的代码。
常见问题解答
GitHub 上最受欢迎的 #post-training-quantization 仓库是什么?
GitHub 上排名第一的开源 #post-training-quantization 项目是 NVIDIA/Model-Optimizer,拥有 5,646 个 Star。一个统一的 SOTA 模型优化技术库,包含量化、蒸馏、剪枝、神经架构搜索、推测解码等技术。它为 TensorRT-LLM、TensorRT、vLLM 等下游部署框架压缩深度学习模型,以优化推理速度。
#post-training-quantization 仓库中最常使用的编程语言有哪些?
在 GitHub 上排名靠前的 #post-training-quantization 项目中,最常见的编程语言是 Python。
#post-training-quantization 仓库的排名是如何计算的?
我们跟踪了 12 个标记为 #post-training-quantization 且拥有 500+ 个 Star 的活跃开源仓库,共计获得 21,589 个 Star,平均每个仓库拥有 1,799 个 Star。排名每日根据 GitHub API 更新。