Git Stars Git Stars

#quantization 仓库

109
仓库总数
487,465
总星标数
4,472
平均每个仓库星标数

共 109 个仓库

51
open-mmlab/mmrazor

OpenMMLab 模型压缩工具箱和基准测试。

open-mmlab
⭐ 1,653 Python 👤 open-mmlab Organization 🕐 已更新 2024-06-11 📅 创建时间 2021-12-22
52
PaddlePaddle/PaddleSlim

PaddleSlim 是一个用于深度模型压缩和架构搜索的开源库。

PaddlePaddle
⭐ 1,613 Python 👤 PaddlePaddle Organization 🕐 已更新 2026-01-04 📅 创建时间 2019-12-16
53
pytorch/FBGEMM

FB (Facebook) + GEMM (通用矩阵-矩阵乘法) - https://code.fb.com/ml-applications/fbgemm/

pytorch
⭐ 1,604 C++ 👤 pytorch Organization 🕐 已更新 2026-11-21 📅 创建时间 2018-09-24
54
Xilinx/brevitas

Brevitas: PyTorch 中的神经网络量化

Xilinx
⭐ 1,601 Python 👤 Xilinx Organization 🕐 已更新 2026-11-21 📅 创建时间 2018-07-10
55
tensorflow/model-optimization

一个用于优化 ML 模型以便在 Keras 和 TensorFlow 上部署的工具包,包括量化与剪枝。

tensorflow
⭐ 1,584 Python 👤 tensorflow Organization 🕐 已更新 2026-11-20 📅 创建时间 2018-10-31
56
RWKV/rwkv.cpp

RWKV 语言模型在 CPU 上的 INT4/INT5/INT8 和 FP16 推理

RWKV
⭐ 1,570 C++ 👤 RWKV Organization 🕐 已更新 2025-03-23 📅 创建时间 2023-03-30
57
AnswerDotAI/fsdp_qlora

使用 QLoRA + FSDP 训练 LLM

AnswerDotAI
⭐ 1,534 Jupyter Notebook 👤 AnswerDotAI Organization 🕐 已更新 2024-11-09 📅 创建时间 2024-01-14
58
synchopate/llama-modchip

零 GPU、纯 CPU 推理,支持 30B–284B MoE 模型(Qwen3.8 176.5B 已在 28.26/48.35 GiB 的 Cgroup v2 冷缓存环境中通过认证、DeepSeek-V4 284B、Nemotron-30B)+ RouteCrack 2.0。

synchopate
⭐ 1,398 Python 👤 synchopate User 🕐 已更新 2026-11-21 📅 创建时间 2026-10-29
59
RahulSChand/gpu_poor

计算任何 LLM 的 token/s 和 GPU 内存需求。 支持 llama.cpp/ggml/bnb/QLoRA 量化

RahulSChand
⭐ 1,383 JavaScript 👤 RahulSChand User 🕐 已更新 2024-12-03 📅 创建时间 2023-09-12
60
open-edge-platform/geti

在本地构建、训练、优化和运行计算机视觉模型,从原始图像到实时推理。开源,针对 Intel® XPU 优化(也支持 CUDA)。

open-edge-platform
⭐ 1,379 Python 👤 open-edge-platform Organization 🕐 已更新 2026-11-21 📅 创建时间 2018-10-26
62
huawei-noah/Efficient-Computing

华为诺亚方舟实验室开发的高效计算方法

huawei-noah
⭐ 1,306 Jupyter Notebook 👤 huawei-noah Organization 🕐 已更新 2024-11-05 📅 创建时间 2019-09-04
63
ModelCloud/GPTQModel

LLM 模型量化(压缩)工具包,通过 HF、vLLM 和 SGLang 支持 Nvidia CUDA、AMD ROCm、Intel XPU、Tenstorrent、华为昇腾 NPU,以及 Intel/AMD/Apple CPU 的硬件加速。

ModelCloud
⭐ 1,294 Python 👤 ModelCloud Organization 🕐 已更新 2026-11-21 📅 创建时间 2024-06-17
64
thu-ml/SpargeAttn

[ICML2025] SpargeAttention:一种无需训练的稀疏注意力机制,可加速任何模型的推理。

thu-ml
⭐ 1,269 Cuda 👤 thu-ml Organization 🕐 已更新 2026-02-25 📅 创建时间 2025-02-25
65
openvinotoolkit/nncf

增强型OpenVINO™推理的神经网络压缩框架

openvinotoolkit
⭐ 1,221 Python 👤 openvinotoolkit Organization 🕐 已更新 2026-11-18 📅 创建时间 2020-05-13
66
gpu-mode/awesomeMLSys

ML系统入职列表

gpu-mode
⭐ 1,154 👤 gpu-mode Organization 🕐 已更新 2026-02-19 📅 创建时间 2024-05-06
67
HarryR/z80ai

Z80-μLM 是一个 2 位量化的语言模型,小到足以在 8 位 Z80 处理器上运行。使用 Python 训练对话模型,将其导出为 CP/M .COM 二进制文件,并与您的老式计算机聊天。

HarryR
⭐ 1,141 Python 👤 HarryR User 🕐 已更新 2026-04-29 📅 创建时间 2025-12-21
68
Xilinx/finn

用于FPGA上QNN推理的数据流编译器

Xilinx
⭐ 1,093 Python 👤 Xilinx Organization 🕐 已更新 2026-11-21 📅 创建时间 2018-06-29
69
hyperionaidev/smolmaxxing

尽可能在最小的设备上运行不同大语言模型的能力最大化

hyperionaidev
⭐ 1,079 C 👤 hyperionaidev Organization 🕐 已更新 2026-11-19 📅 创建时间 2026-11-04
70
huggingface/optimum-quanto

Optimum 的 PyTorch 量化后端

huggingface
⭐ 1,055 Python 👤 huggingface Organization 🕐 已更新 2026-11-17 📅 创建时间 2023-09-19
71
darrencxl0301/StageRAG

一个用于构建生产级 RAG 系统的蓝图,该系统可最大限度地减少幻觉,并提供可切换的 3 步(速度)和 4 步(精度)管道。

darrencxl0301
⭐ 1,036 Python 👤 darrencxl0301 User 🕐 已更新 2025-10-13 📅 创建时间 2025-10-01
72
MAC-AutoML/MindPipe

一个强大的LLMs和LVLMs模型压缩框架,针对NVIDIA GPU和华为昇腾NPU进行了优化。

MAC-AutoML
⭐ 1,013 Python 👤 MAC-AutoML Organization 🕐 已更新 2026-08-11 📅 创建时间 2026-01-22
73
PINTO0309/onnx2tf

一个将 ONNX 文件转换为 LiteRT/TFLite/TensorFlow、PyTorch 原生代码 (nn.Module)、TorchScript (.pt)、state_dict (.pt)、Exported Program (.pt2) 和 Dynamo ONNX 的工具。它还支持从 LiteRT 直接转换为 PyTorch。

PINTO0309
⭐ 1,004 Python 👤 PINTO0309 User 🕐 已更新 2026-09-14 📅 创建时间 2022-09-27
74
IST-DASLab/marlin

一个FP16xINT4 LLM推理内核,可以在高达16-32个token的中等批次大小下实现接近理想的约4倍加速。

IST-DASLab
⭐ 973 Python 👤 IST-DASLab Organization 🕐 已更新 2024-09-04 📅 创建时间 2024-01-17
75
OpenGVLab/OmniQuant

[ICLR2024 Spotlight] OmniQuant 是一种简单而强大的 LLM 量化技术。

OpenGVLab
⭐ 970 Python 👤 OpenGVLab Organization 🕐 已更新 2025-11-26 📅 创建时间 2023-08-22
76
dropbox/hqq

Half-Quadratic Quantization (HQQ) 的官方实现

dropbox
⭐ 963 Python 👤 dropbox Organization 🕐 已更新 2026-02-26 📅 创建时间 2023-11-07
77
ImageOptim/libimagequant

驱动 pngquant 和其他 PNG 优化器的调色板量化库

ImageOptim
⭐ 940 Rust 👤 ImageOptim Organization 🕐 已更新 2026-06-21 📅 创建时间 2016-11-03
78
mit-han-lab/TinyChatEngine

TinyChatEngine: 设备端 LLM 推理库

mit-han-lab
⭐ 934 C++ 👤 mit-han-lab Organization 🕐 已更新 2024-07-04 📅 创建时间 2023-05-24
79
facebookresearch/mobile-vision

移动视觉模型和代码

facebookresearch
⭐ 923 Python 👤 facebookresearch Organization 🕐 已更新 2026-10-21 📅 创建时间 2019-01-09
80
mit-han-lab/tinyengine

[NeurIPS 2020] MCUNet: 物联网设备上的超小型深度学习;[NeurIPS 2021] MCUNetV2: 超小型深度学习的内存高效块状推理;[NeurIPS 2022] MCUNetV3: 256KB内存下的设备端训练

mit-han-lab
⭐ 916 C 👤 mit-han-lab Organization 🕐 已更新 2024-11-27 📅 创建时间 2022-08-24
81
amd/RyzenAI-SW

AMD Ryzen™ AI 软件包括用于在支持 AMD Ryzen™ AI 的 PC 上优化和部署 AI 推理的工具和运行时库。

amd
⭐ 902 Python 👤 amd Organization 🕐 已更新 2026-11-18 📅 创建时间 2023-05-12
82
whitecircle/halo

Halo 是由 White Circle 构建的用于训练大型语言模型和多模态模型的开源框架

whitecircle
⭐ 868 Python 👤 whitecircle Organization 🕐 已更新 2026-11-21 📅 创建时间 2026-08-26
83
IST-DASLab/sparsegpt

ICML 2023 论文“SparseGPT: Massive Language Models Can Be Accurately Pruned in One-Shot”的代码。

IST-DASLab
⭐ 859 Python 👤 IST-DASLab Organization 🕐 已更新 2024-08-20 📅 创建时间 2023-03-20
84
mit-han-lab/omniserve

[MLSys'25] QServe: 针对高效 LLM 推理的 W4A8KV4 量化与系统协同设计;[MLSys'25] LServe: 使用统一稀疏注意力实现高效长序列 LLM 推理

mit-han-lab
⭐ 840 C++ 👤 mit-han-lab Organization 🕐 已更新 2025-03-06 📅 创建时间 2024-05-06
85
warpfront/hipfire

基于RDNA的Rust LLM推理引擎。

warpfront
⭐ 826 Rust 👤 warpfront Organization 🕐 已更新 2026-11-21 📅 创建时间 2026-03-21
86
Zhen-Dong/Awesome-Quantization-Papers

近期人工智能会议和期刊中与神经网络量化相关的论文列表。

Zhen-Dong
⭐ 825 👤 Zhen-Dong User 🕐 已更新 2025-03-27 📅 创建时间 2022-01-01
87
datawhalechina/llm-algo-leetcode

使用 PyTorch、Triton 和 CUDA 实践大模型算法与系统。《大模型算法与系统教程》涵盖模型架构与训练、后训练、推理加速、性能与算子优化,并配套 Notebook 练习、答案解析、测试与实验。

datawhalechina
⭐ 811 Jupyter Notebook 👤 datawhalechina Organization 🕐 已更新 2026-11-16 📅 创建时间 2026-04-01
88
huggingface/ratchet

一个跨平台的浏览器机器学习框架。

huggingface
⭐ 771 Rust 👤 huggingface Organization 🕐 已更新 2026-09-24 📅 创建时间 2024-01-11
89
ModelTC/LightCompress

[EMNLP 2024 & AAAI 2026] 一个强大的工具包,用于压缩包括大型语言模型(LLMs)、大型视觉语言模型(VLMs)和视频生成模型在内的大型模型。

ModelTC
⭐ 755 Python 👤 ModelTC Organization 🕐 已更新 2026-05-14 📅 创建时间 2024-03-06
90
prabanta-dev/janas

在一台 32 GB 笔记本电脑上运行 Qwen3-Next-80B(48 GB),速度可达 37 tok/s;不使用草稿解码时为 24 tok/s,而 llama.cpp 为 2.8 tok/s;读取速度为 62 tok/s 对 16 tok/s。在 Q4_K_M 下对比的全部 13 个模型中,速度都快于 llama.cpp。运行比内存更大的 LLM,纯 C 实现,支持 CPU 或 GPU。

prabanta-dev
⭐ 738 C 👤 prabanta-dev Organization 🕐 已更新 2026-11-20 📅 创建时间 2026-09-20
91
hailo-ai/hailo_model_zoo

Hailo Model Zoo 包含预训练模型以及完整的构建和评估环境

hailo-ai
⭐ 725 Python 👤 hailo-ai Organization 🕐 已更新 2026-11-15 📅 创建时间 2021-07-13
92
SqueezeAILab/SqueezeLLM

[ICML 2024] SqueezeLLM: 稠密与稀疏量化

SqueezeAILab
⭐ 710 Python 👤 SqueezeAILab Organization 🕐 已更新 2024-08-13 📅 创建时间 2023-06-12
94
wanshuiyin/ARIS-in-AI-Offer

面向 AI 秋招的中英双语 ML / LLM / diffusion / agent 面试速查表——由 ARIS /interview-cheatsheet 生成,通过 /render-html 渲染为可随处阅读的单文件 HTML——另有经 CV→DBLP 事实核查的学术主页生成器,以及亲自撰写的长篇博客 🌱

wanshuiyin
⭐ 661 Python 👤 wanshuiyin User 🕐 已更新 2026-11-18 📅 创建时间 2026-05-19
95
huawei-csl/SINQ

欢迎来到 SINQ 的官方仓库!一种新颖、快速且高质量的量化方法,旨在使任何大型语言模型变小,同时保持准确性 [ICML 2026]

huawei-csl
⭐ 638 Python 👤 huawei-csl Organization 🕐 已更新 2026-05-08 📅 创建时间 2025-09-26
96
ServiceStack/llms

LLM 客户端、服务器 API 和 UI

ServiceStack
⭐ 631 JavaScript 👤 ServiceStack Organization 🕐 已更新 2026-11-21 📅 创建时间 2025-09-23
97
hahnyuan/LLM-Viewer

分析大型语言模型(LLM)的推理。 在用户友好的界面中分析计算、存储、传输和硬件性能瓶颈模型等方面的因素。

hahnyuan
⭐ 600 Python 👤 hahnyuan User 🕐 已更新 2024-09-11 📅 创建时间 2024-01-07
98
google/qkeras

QKeras: TensorFlow Keras 的量化深度学习库

google
⭐ 583 Python 👤 google Organization 🕐 已更新 2026-02-23 📅 创建时间 2019-08-06
99
MPolaris/onnx2tflite

onnx->keras 或 onnx->tflite 的工具。希望这个工具能帮到你。

MPolaris
⭐ 577 Python 👤 MPolaris User 🕐 已更新 2026-06-21 📅 创建时间 2022-04-11
100
csyhhu/Awesome-Deep-Neural-Network-Compression

摘要,深度神经网络量化的代码

csyhhu
⭐ 562 Python 👤 csyhhu User 🕐 已更新 2026-09-01 📅 创建时间 2019-02-28