#quantization リポジトリ
#quantizationのタグが付いた、GitHub上の109件のアクティブなオープンソースリポジトリをご覧ください。合計スター数は487,465個で、プロジェクトあたりの平均は4,472個です。このトピックをリードしているのは、76,171個のスターを獲得しているhiyouga/LlamaFactoryです。
リポジトリ合計109件
中国語LLaMA&Alpaca大規模言語モデル+ローカルCPU/GPUトレーニング・デプロイメント (Chinese LLaMA & Alpaca LLMs)
[🔥更新中...] AI自動定量取引ボット(完全ローカルデプロイ)AI駆動の定量投資リサーチプラットフォーム。 📃 オンラインドキュメント: https://ufund-me.github.io/Qbot ✨ :news: qbot-mini: https://github.com/Charmve/iQuant
2.78兆パラメータのKimi K3モデルが、8.24GBのRAMを搭載したシングルCPU上で推論を実行。ポータブルなC99実装:BLASなし、フレームワークなし、GPUなし。
nanoGPTに基づいたLLaMA言語モデルの実装。フラッシュアテンション、Int8およびGPTQ 4ビット量子化、LoRAおよびLLaMA-Adapterファインチューニング、事前トレーニングをサポートします。Apache 2.0ライセンス。
AIインフラ知識とコード練習の共有:PyTorch、vLLM/SGLang、slime/vimeフレームワーク入門⚡️、パフォーマンス加速🚀、大規模モデルの基礎🧠、AIソフトウェアとハードウェア🔧など
[ICLR2025, ICML2025, NeurIPS2025 Spotlight] Quantized Attention は、FlashAttention と比較して 2~5 倍の高速化を達成し、言語、画像、動画モデル全体の評価指標(エンドツーエンドメトリクス)を損なうことはありません。
使いやすいハードウェア最適化ツールで、🤗 Transformers、Diffusers、TIMM、Sentence Transformers の推論とトレーニングを高速化します
GLM-5.3(744B)、DeepSeek-V4.1-Flash(748B)、MiniMax-M3.1-Flash(428B)、GLM-5.3-Flash(321B)、Hy4-Flash(220B)を自分のGPUで実行できます。8GBのVRAMから対応し、NVIDIAとAMDをサポート。1つのダッシュボードと、OpenAIおよびAnthropic互換APIを利用できます。
実際に所有しているGPUで、大規模なQwenモデルを高速にサーブします。vLLMを使い、24 GBのカード1枚でQwen3.8-27Bを実行:単一ユーザーで127 tok/s(回答がプロンプトを引用する場合は381 tok/s)、64並列で約1,035 tok/s、コンテキスト長は150k~262k。vLLMのパッチ、再量子化パイプライン、ベンチマーク。
SOTA低ビットLLM量子化(INT8/FP8/MXFP8/INT4/MXFP4/NVFP4)とスパース性;PyTorch、TensorFlow、ONNX Runtimeにおける最先端のモデル圧縮技術
独自のLLMを構築、パーソナライズ、制御します。データの前処理からファインチューニングまで、xTuringはオープンソースLLMをパーソナライズする簡単な方法を提供します。Discordコミュニティに参加してください: https://discord.gg/TgHXuSJEk6
micronet、モデル圧縮およびデプロイライブラリ。圧縮:1、量子化:量子化認識トレーニング(QAT)、高ビット(>2b)(DoReFa/Quantization and Training of Neural Networks for Efficient Integer-Arithmetic-Only Inference)、低ビット(≤2b)/三値および二値(TWN/BNN/XNOR-Net);トレーニング後量子化(PTQ)、8ビット(tensorrt);2、プルーニング:通常、規則的およびグループ畳み込みチャネルプルーニング;3、グループ畳み込み構造;4、量子化のためのバッチ正規化融合。デプロイ:tensorrt, fp32/fp16/in
ICLR 2023論文「GPTQ: Accurate Post-training Quantization of Generative Pretrained Transformers」のコード。
よくある質問
GitHubで最も人気のある#quantizationリポジトリは何ですか?
GitHubで最も上位にランクインしているオープンソースの#quantizationプロジェクトは、76,171個のスターを獲得しているhiyouga/LlamaFactoryです。100以上のLLMとVLMの統一効率ファインチューニング(ACL 2024)
#quantizationリポジトリで最もよく使われているプログラミング言語は何ですか?
GitHubで上位にランクインしている#quantizationプロジェクトでは、Python, C++, Jupyter Notebook, Cが最も一般的なプログラミング言語です。
#quantizationリポジトリのランキングはどのように算出されていますか?
#quantizationのタグが付いた109件のアクティブなオープンソースリポジトリ(スター500個以上)を追跡しています。合計スター数は487,465個で、リポジトリあたりの平均は4,472個です。ランキングはGitHub APIからのデータに基づいて毎日更新されます。