#post-training-quantization 저장소
#post-training-quantization 태그가 지정된 GitHub의 활성 오픈 소스 저장소 12개를 확인해 보세요. 총 21,589개의 스타를 획득했으며 프로젝트당 평균 1,799개입니다. 이 주제를 이끄는 저장소는 5,646개의 스타를 받은 NVIDIA/Model-Optimizer입니다.
저장소 총 12개
양자화, 증류, 가지치기(pruning), 신경 아키텍처 검색, 추론적 디코딩 등 SOTA 모델 최적화 기술을 통합한 라이브러리입니다. TensorRT-LLM, TensorRT, vLLM과 같은 다운스트림 배포 프레임워크를 위해 딥러닝 모델을 압축하여 추론 속도를 최적화합니다.
SOTA 저비트 LLM 양자화(INT8/FP8/MXFP8/INT4/MXFP4/NVFP4) 및 희소성; PyTorch, TensorFlow 및 ONNX Runtime 기반의 선도적인 모델 압축 기술
모델 양자화에 관한 논문, 벤치마크, 서베이 및 도구를 엄선한 모음으로, 저비트 네트워크, LLM, 멀티모달 및 생성 모델, 벡터 및 격자 양자화, 효율적인 배포를 다룹니다.
micronet, 모델 압축 및 배포 라이브러리. 압축: 1、양자화: 양자화 인식 훈련(QAT), 고비트(>2b)(DoReFa/Quantization and Training of Neural Networks for Efficient Integer-Arithmetic-Only Inference)、저비트(≤2b)/삼원 및 이원(TWN/BNN/XNOR-Net); 훈련 후 양자화(PTQ), 8-bit(tensorrt); 2、 가지치기: 일반、규칙적 및 그룹 컨볼루션 채널 가지치기; 3、 그룹 컨볼루션 구조; 4、배치 정규화 융합을 위한 양자화. 배포: tensorrt, fp32/fp16/in
ICLR 2023 논문 "GPTQ: Accurate Post-training Quantization of Generative Pretrained Transformers"의 코드입니다.
자주 묻는 질문
GitHub에서 가장 인기 있는 #post-training-quantization 저장소는 무엇인가요?
GitHub에서 가장 높은 순위의 오픈 소스 #post-training-quantization 프로젝트는 5,646개의 스타를 받은 NVIDIA/Model-Optimizer입니다. 양자화, 증류, 가지치기(pruning), 신경 아키텍처 검색, 추론적 디코딩 등 SOTA 모델 최적화 기술을 통합한 라이브러리입니다. TensorRT-LLM, TensorRT, vLLM과 같은 다운스트림 배포 프레임워크를 위해 딥러닝 모델을 압축하여 추론 속도를 최적화합니다.
#post-training-quantization 저장소에서 가장 많이 사용되는 프로그래밍 언어는 무엇인가요?
GitHub에서 순위가 가장 높은 #post-training-quantization 프로젝트 중 가장 일반적으로 사용되는 프로그래밍 언어는 Python입니다.
#post-training-quantization 저장소 순위는 어떻게 계산되나요?
#post-training-quantization 태그가 지정된 활성 오픈 소스 저장소(12개, 스타 500개 이상)를 추적하고 있습니다. 총 스타 수는 21,589개이며 저장소당 평균 1,799개입니다. 순위는 GitHub API를 통해 매일 업데이트됩니다.