Git Stars Git Stars

#quantization リポジトリ

109
リポジトリ総数
487,465
合計スター数
4,472
リポジトリあたりの平均スター数

リポジトリ合計109件

51
open-mmlab/mmrazor

OpenMMLab モデル圧縮ツールボックスとベンチマーク。

open-mmlab
⭐ 1,653 Python 👤 open-mmlab Organization 🕐 更新日時 2024-06-11 📅 作成日 2021-12-22
52
PaddlePaddle/PaddleSlim

PaddleSlim は、ディープモデルの圧縮とアーキテクチャサーチのためのオープンソースライブラリです。

PaddlePaddle
⭐ 1,613 Python 👤 PaddlePaddle Organization 🕐 更新日時 2026-01-04 📅 作成日 2019-12-16
53
pytorch/FBGEMM

FB (Facebook) + GEMM (一般行列-行列乗算) - https://code.fb.com/ml-applications/fbgemm/

pytorch
⭐ 1,604 C++ 👤 pytorch Organization 🕐 更新日時 2026-11-21 📅 作成日 2018-09-24
54
Xilinx/brevitas

Brevitas: PyTorch でのニューラルネットワークの量子化

Xilinx
⭐ 1,601 Python 👤 Xilinx Organization 🕐 更新日時 2026-11-21 📅 作成日 2018-07-10
55
tensorflow/model-optimization

KerasおよびTensorFlow向けのMLモデルのデプロイ最適化のためのツールキットで、量子化とプルーニングを含みます。

tensorflow
⭐ 1,584 Python 👤 tensorflow Organization 🕐 更新日時 2026-11-20 📅 作成日 2018-10-31
56
RWKV/rwkv.cpp

RWKV言語モデルのCPUでのINT4/INT5/INT8およびFP16推論

RWKV
⭐ 1,570 C++ 👤 RWKV Organization 🕐 更新日時 2025-03-23 📅 作成日 2023-03-30
57
AnswerDotAI/fsdp_qlora

QLoRA + FSDP で LLM をトレーニングする

AnswerDotAI
⭐ 1,534 Jupyter Notebook 👤 AnswerDotAI Organization 🕐 更新日時 2024-11-09 📅 作成日 2024-01-14
58
synchopate/llama-modchip

30B~284BのMoEモデル向け、GPU不要のCPU推論(Qwen3.8 176.5Bは28.26/48.35 GiBのCgroup v2コールドキャッシュ環境で認証済み、DeepSeek-V4 284B、Nemotron-30B)+RouteCrack 2.0。

synchopate
⭐ 1,398 Python 👤 synchopate User 🕐 更新日時 2026-11-21 📅 作成日 2026-10-29
59
RahulSChand/gpu_poor

あらゆるLLMのトークン/秒とGPUメモリ要件を計算します。llama.cpp/ggml/bnb/QLoRAの量子化をサポートします。

RahulSChand
⭐ 1,383 JavaScript 👤 RahulSChand User 🕐 更新日時 2024-12-03 📅 作成日 2023-09-12
60
open-edge-platform/geti

生画像からリアルタイム推論まで、コンピュータービジョンモデルをローカルで構築、学習、最適化、実行できます。オープンソースで、Intel® XPU 向けに最適化されています(CUDA にも対応)。

open-edge-platform
⭐ 1,379 Python 👤 open-edge-platform Organization 🕐 更新日時 2026-11-21 📅 作成日 2018-10-26
62
huawei-noah/Efficient-Computing

Huawei Noah's Ark Lab が開発した効率的な計算手法

huawei-noah
⭐ 1,306 Jupyter Notebook 👤 huawei-noah Organization 🕐 更新日時 2024-11-05 📅 作成日 2019-09-04
63
ModelCloud/GPTQModel

HF、vLLM、SGLangを介して、Nvidia CUDA、AMD ROCm、Intel XPU、Tenstorrent、Huawei Ascend NPU、およびIntel/AMD/Apple CPUのハードウェアアクセラレーションに対応する、LLMモデルの量子化(圧縮)ツールキット。

ModelCloud
⭐ 1,294 Python 👤 ModelCloud Organization 🕐 更新日時 2026-11-21 📅 作成日 2024-06-17
64
thu-ml/SpargeAttn

[ICML2025] SpargeAttention: トレーニング不要なスパースアテンションにより、あらゆるモデルの推論を高速化します。

thu-ml
⭐ 1,269 Cuda 👤 thu-ml Organization 🕐 更新日時 2026-02-25 📅 作成日 2025-02-25
65
openvinotoolkit/nncf

強化されたOpenVINO™推論のためのニューラルネットワーク圧縮フレームワーク

openvinotoolkit
⭐ 1,221 Python 👤 openvinotoolkit Organization 🕐 更新日時 2026-11-18 📅 作成日 2020-05-13
66
gpu-mode/awesomeMLSys

MLシステムオンボーディングリスト

gpu-mode
⭐ 1,154 👤 gpu-mode Organization 🕐 更新日時 2026-02-19 📅 作成日 2024-05-06
67
HarryR/z80ai

Z80-μLM は、8ビットの Z80 プロセッサで動作できるほど小さい、2ビット量子化言語モデルです。Python で対話モデルを訓練し、CP/M .COM バイナリとしてエクスポートし、あなたのビンテージコンピュータとチャットしましょう。

HarryR
⭐ 1,141 Python 👤 HarryR User 🕐 更新日時 2026-04-29 📅 作成日 2025-12-21
68
Xilinx/finn

FPGA上でのQNN推論のためのデータフローコンパイラ

Xilinx
⭐ 1,093 Python 👤 Xilinx Organization 🕐 更新日時 2026-11-21 📅 作成日 2018-06-29
69
hyperionaidev/smolmaxxing

できるだけ小さなデバイスで、さまざまなLLMを実行する能力を最大限に高める

hyperionaidev
⭐ 1,079 C 👤 hyperionaidev Organization 🕐 更新日時 2026-11-19 📅 作成日 2026-11-04
70
huggingface/optimum-quanto

Optimum の PyTorch 量化バックエンド

huggingface
⭐ 1,055 Python 👤 huggingface Organization 🕐 更新日時 2026-11-17 📅 作成日 2023-09-19
71
darrencxl0301/StageRAG

幻覚を最小限に抑える本番対応RAGシステム構築のためのブループリント。切り替え可能な3ステップ(速度)および4ステップ(精度)パイプラインを特徴とします。

darrencxl0301
⭐ 1,036 Python 👤 darrencxl0301 User 🕐 更新日時 2025-10-13 📅 作成日 2025-10-01
72
MAC-AutoML/MindPipe

LLMおよびLVLM向けの強力なモデル圧縮フレームワークで、NVIDIA GPUおよびHuawei Ascend NPUに適応。

MAC-AutoML
⭐ 1,013 Python 👤 MAC-AutoML Organization 🕐 更新日時 2026-08-11 📅 作成日 2026-01-22
73
PINTO0309/onnx2tf

ONNXファイルをLiteRT/TFLite/TensorFlow、PyTorchネイティブコード(nn.Module)、TorchScript(.pt)、state_dict(.pt)、Exported Program(.pt2)、Dynamo ONNXに変換するためのツールです。また、LiteRTからPyTorchへの直接変換もサポートしています。

PINTO0309
⭐ 1,004 Python 👤 PINTO0309 User 🕐 更新日時 2026-09-14 📅 作成日 2022-09-27
74
IST-DASLab/marlin

16〜32トークンのバッチサイズまで、ほぼ理想的な約4倍の速度向上を実現できるFP16xINT4 LLM推論カーネル。

IST-DASLab
⭐ 973 Python 👤 IST-DASLab Organization 🕐 更新日時 2024-09-04 📅 作成日 2024-01-17
75
OpenGVLab/OmniQuant

[ICLR2024 Spotlight] OmniQuantは、LLM向けのシンプルで強力な量子化技術です。

OpenGVLab
⭐ 970 Python 👤 OpenGVLab Organization 🕐 更新日時 2025-11-26 📅 作成日 2023-08-22
76
dropbox/hqq

Half-Quadratic Quantization (HQQ) の公式実装

dropbox
⭐ 963 Python 👤 dropbox Organization 🕐 更新日時 2026-02-26 📅 作成日 2023-11-07
77
ImageOptim/libimagequant

pngquant および他の PNG オプティマイザーを駆動するパレット量子化ライブラリ

ImageOptim
⭐ 940 Rust 👤 ImageOptim Organization 🕐 更新日時 2026-06-21 📅 作成日 2016-11-03
78
mit-han-lab/TinyChatEngine

TinyChatEngine: オンデバイスLLM推論ライブラリ

mit-han-lab
⭐ 934 C++ 👤 mit-han-lab Organization 🕐 更新日時 2024-07-04 📅 作成日 2023-05-24
79
facebookresearch/mobile-vision

モバイルビジョンモデルとコード

facebookresearch
⭐ 923 Python 👤 facebookresearch Organization 🕐 更新日時 2026-10-21 📅 作成日 2019-01-09
80
mit-han-lab/tinyengine

[NeurIPS 2020] MCUNet: IoTデバイス上の超小型ディープラーニング; [NeurIPS 2021] MCUNetV2: 超小型ディープラーニングのためのメモリ効率的なパッチベース推論; [NeurIPS 2022] MCUNetV3: 256KB未満のメモリでデバイス上トレーニング

mit-han-lab
⭐ 916 C 👤 mit-han-lab Organization 🕐 更新日時 2024-11-27 📅 作成日 2022-08-24
81
amd/RyzenAI-SW

AMD Ryzen™ AI ソフトウェアには、AMD Ryzen™ AI 搭載 PC での AI 推論を最適化および展開するためのツールとランタイムライブラリが含まれています。

amd
⭐ 902 Python 👤 amd Organization 🕐 更新日時 2026-11-18 📅 作成日 2023-05-12
82
whitecircle/halo

Halo は、White Circle が開発した、大規模言語モデルおよびマルチモーダルモデルのトレーニング用オープンソースフレームワークです

whitecircle
⭐ 868 Python 👤 whitecircle Organization 🕐 更新日時 2026-11-21 📅 作成日 2026-08-26
83
IST-DASLab/sparsegpt

ICML 2023の論文「SparseGPT: Massive Language Models Can Be Accurately Pruned in One-Shot」のコード。

IST-DASLab
⭐ 859 Python 👤 IST-DASLab Organization 🕐 更新日時 2024-08-20 📅 作成日 2023-03-20
84
mit-han-lab/omniserve

[MLSys'25] QServe: 効率的なLLMサービングのためのW4A8KV4量子化とシステムコデザイン; [MLSys'25] LServe: 統一されたスパースアテンションによる効率的な長シーケンスLLMサービング

mit-han-lab
⭐ 840 C++ 👤 mit-han-lab Organization 🕐 更新日時 2025-03-06 📅 作成日 2024-05-06
85
warpfront/hipfire

Rustで書かれたRDNAネイティブのLLM推論エンジン。

warpfront
⭐ 826 Rust 👤 warpfront Organization 🕐 更新日時 2026-11-21 📅 作成日 2026-03-21
86
Zhen-Dong/Awesome-Quantization-Papers

最新のAIカンファレンスおよびジャーナルにおけるニューラルネットワーク量子化に関連する論文リスト。

Zhen-Dong
⭐ 825 👤 Zhen-Dong User 🕐 更新日時 2025-03-27 📅 作成日 2022-01-01
87
datawhalechina/llm-algo-leetcode

PyTorch、Triton、CUDAを使ってLLMのアルゴリズムとシステムを実践的に学習。『大規模言語モデルのアルゴリズムとシステム講座』では、モデルアーキテクチャと学習、事後学習、推論の高速化、性能と演算子の最適化を扱い、Notebook演習、解答解説、テスト、実験も用意しています。

datawhalechina
⭐ 811 Jupyter Notebook 👤 datawhalechina Organization 🕐 更新日時 2026-11-16 📅 作成日 2026-04-01
88
huggingface/ratchet

クロスプラットフォームのブラウザMLフレームワーク。

huggingface
⭐ 771 Rust 👤 huggingface Organization 🕐 更新日時 2026-09-24 📅 作成日 2024-01-11
89
ModelTC/LightCompress

[EMNLP 2024 & AAAI 2026] LLM、VLM、およびビデオ生成モデルを含む大規模モデルを圧縮するための強力なツールキット。

ModelTC
⭐ 755 Python 👤 ModelTC Organization 🕐 更新日時 2026-05-14 📅 作成日 2024-03-06
90
prabanta-dev/janas

32 GBのノートPCでQwen3-Next-80B(48 GB)を37 tok/sで実行。ドラフトなしでは24 tok/sで、llama.cppの2.8 tok/sを上回ります。読み込み速度は62 tok/s対16 tok/s。Q4_K_Mで比較した13モデルすべてでllama.cppより高速。RAM容量を超えるLLMを、純粋なCでCPUまたはGPU上で実行。

prabanta-dev
⭐ 738 C 👤 prabanta-dev Organization 🕐 更新日時 2026-11-20 📅 作成日 2026-09-20
91
hailo-ai/hailo_model_zoo

Hailo Model Zooには、事前トレーニング済みのモデルと、ビルドおよび評価のための完全な環境が含まれています。

hailo-ai
⭐ 725 Python 👤 hailo-ai Organization 🕐 更新日時 2026-11-15 📅 作成日 2021-07-13
92
SqueezeAILab/SqueezeLLM

[ICML 2024] SqueezeLLM: 密-疎量子化

SqueezeAILab
⭐ 710 Python 👤 SqueezeAILab Organization 🕐 更新日時 2024-08-13 📅 作成日 2023-06-12
94
wanshuiyin/ARIS-in-AI-Offer

AI秋採用向けのバイリンガル(中国語+英語)ML / LLM / diffusion / agent面接チートシート――ARIS /interview-cheatsheetで生成し、/render-htmlでどこでも読める単一ファイルHTMLに変換――に加え、CV→DBLPで事実確認した学術ホームページ生成器と、本人執筆の長文ブログ 🌱

wanshuiyin
⭐ 661 Python 👤 wanshuiyin User 🕐 更新日時 2026-11-18 📅 作成日 2026-05-19
95
huawei-csl/SINQ

SINQの公式リポジトリへようこそ!任意の大型言語モデルを精度を維持しつつ小さくするための、新規で高速かつ高品質な量子化手法 [ICML 2026]

huawei-csl
⭐ 638 Python 👤 huawei-csl Organization 🕐 更新日時 2026-05-08 📅 作成日 2025-09-26
96
ServiceStack/llms

LLM クライアント、サーバーAPI、UI

ServiceStack
⭐ 631 JavaScript 👤 ServiceStack Organization 🕐 更新日時 2026-11-21 📅 作成日 2025-09-23
97
hahnyuan/LLM-Viewer

大規模言語モデル(LLM)の推論を分析します。ユーザーフレンドリーなインターフェイスで、計算、ストレージ、伝送、およびハードウェアのルーフラインモデルなどの側面を分析します。

hahnyuan
⭐ 600 Python 👤 hahnyuan User 🕐 更新日時 2024-09-11 📅 作成日 2024-01-07
98
google/qkeras

QKeras: Tensorflow Keras 用の量子化深層学習ライブラリ

google
⭐ 583 Python 👤 google Organization 🕐 更新日時 2026-02-23 📅 作成日 2019-08-06
99
MPolaris/onnx2tflite

onnx->keras または onnx->tflite 用のツールです。このツールが皆様のお役に立てば幸いです。

MPolaris
⭐ 577 Python 👤 MPolaris User 🕐 更新日時 2026-06-21 📅 作成日 2022-04-11
100
csyhhu/Awesome-Deep-Neural-Network-Compression

要約、深層ニューラルネットワーク量子化のコード

csyhhu
⭐ 562 Python 👤 csyhhu User 🕐 更新日時 2026-09-01 📅 作成日 2019-02-28