#post-training-quantization リポジトリ
#post-training-quantizationのタグが付いた、GitHub上の12件のアクティブなオープンソースリポジトリをご覧ください。合計スター数は21,589個で、プロジェクトあたりの平均は1,799個です。このトピックをリードしているのは、5,646個のスターを獲得しているNVIDIA/Model-Optimizerです。
リポジトリ合計12件
量子化、蒸留、プルーニング、ニューラルアーキテクチャ探索、推論的デコードなどのSOTAモデル最適化技術を統合したライブラリ。TensorRT-LLM、TensorRT、vLLMなどのダウンストリームデプロイメントフレームワーク向けにディープラーニングモデルを圧縮し、推論速度を最適化します。
SOTA低ビットLLM量子化(INT8/FP8/MXFP8/INT4/MXFP4/NVFP4)とスパース性;PyTorch、TensorFlow、ONNX Runtimeにおける最先端のモデル圧縮技術
モデル量子化に関する論文、ベンチマーク、サーベイ、ツールを厳選してまとめたコレクション。低ビットネットワーク、LLM、マルチモーダルモデルおよび生成モデル、ベクトル量子化と格子量子化、効率的なデプロイを扱います。
micronet、モデル圧縮およびデプロイライブラリ。圧縮:1、量子化:量子化認識トレーニング(QAT)、高ビット(>2b)(DoReFa/Quantization and Training of Neural Networks for Efficient Integer-Arithmetic-Only Inference)、低ビット(≤2b)/三値および二値(TWN/BNN/XNOR-Net);トレーニング後量子化(PTQ)、8ビット(tensorrt);2、プルーニング:通常、規則的およびグループ畳み込みチャネルプルーニング;3、グループ畳み込み構造;4、量子化のためのバッチ正規化融合。デプロイ:tensorrt, fp32/fp16/in
ICLR 2023論文「GPTQ: Accurate Post-training Quantization of Generative Pretrained Transformers」のコード。
よくある質問
GitHubで最も人気のある#post-training-quantizationリポジトリは何ですか?
GitHubで最も上位にランクインしているオープンソースの#post-training-quantizationプロジェクトは、5,646個のスターを獲得しているNVIDIA/Model-Optimizerです。量子化、蒸留、プルーニング、ニューラルアーキテクチャ探索、推論的デコードなどのSOTAモデル最適化技術を統合したライブラリ。TensorRT-LLM、TensorRT、vLLMなどのダウンストリームデプロイメントフレームワーク向けにディープラーニングモデルを圧縮し、推論速度を最適化します。
#post-training-quantizationリポジトリで最もよく使われているプログラミング言語は何ですか?
GitHubで上位にランクインしている#post-training-quantizationプロジェクトでは、Pythonが最も一般的なプログラミング言語です。
#post-training-quantizationリポジトリのランキングはどのように算出されていますか?
#post-training-quantizationのタグが付いた12件のアクティブなオープンソースリポジトリ(スター500個以上)を追跡しています。合計スター数は21,589個で、リポジトリあたりの平均は1,799個です。ランキングはGitHub APIからのデータに基づいて毎日更新されます。