Git Stars Git Stars

#quantization 仓库

探索 109 个标记为 #quantization 的活跃开源 GitHub 仓库,它们累计获得 487,465 个 Star(平均每个项目 4,472 个)。该主题的领先项目是 hiyouga/LlamaFactory,拥有 76,171 个 Star。

109
仓库总数
487,465
总星标数
4,472
平均每个仓库星标数

共 109 个仓库

1
hiyouga/LlamaFactory

100+ LLM与VLM的统一高效微调 (ACL 2024)

hiyouga
⭐ 76,171 Python 👤 hiyouga User 🕐 已更新 2026-11-21 📅 创建时间 2023-05-28
2
xai-org/grok-1

Grok公开发布

xai-org
⭐ 50,567 Python 👤 xai-org Organization 🕐 已更新 2024-08-30 📅 创建时间 2024-03-17
3
microsoft/BitNet

1比特LLM的官方推理框架

microsoft
⭐ 42,358 C++ 👤 microsoft Organization 🕐 已更新 2026-07-27 📅 创建时间 2024-08-05
4
SYSTRAN/faster-whisper

使用 CTranslate2 实现更快的 Whisper 转录

SYSTRAN
⭐ 26,924 Python 👤 SYSTRAN Organization 🕐 已更新 2026-11-12 📅 创建时间 2023-02-11
5
kvcache-ai/ktransformers

一种用于体验异构大语言模型推理/微调优化的灵活框架

kvcache-ai
⭐ 19,687 Python 👤 kvcache-ai Organization 🕐 已更新 2026-11-13 📅 创建时间 2024-07-26
6
ymcui/Chinese-LLaMA-Alpaca

中文LLaMA&Alpaca大语言模型+本地CPU/GPU训练部署 (Chinese LLaMA & Alpaca LLMs)

ymcui
⭐ 18,915 Python 👤 ymcui User 🕐 已更新 2026-04-19 📅 创建时间 2023-03-15
7
UFund-Me/Qbot

[🔥更新中 ...] AI 自动量化交易机器人(完全本地部署) AI驱动的量化投资研究平台。 📃 在线文档: https://ufund-me.github.io/Qbot ✨ :news: qbot-mini: https://github.com/Charmve/iQuant

UFund-Me
⭐ 18,849 Jupyter Notebook 👤 UFund-Me Organization 🕐 已更新 2026-03-11 📅 创建时间 2022-11-23
8
RyanCodrai/turbovec

基于TurboQuant构建的向量索引,使用Rust编写并提供Python绑定

RyanCodrai
⭐ 17,505 Rust 👤 RyanCodrai User 🕐 已更新 2026-10-07 📅 创建时间 2026-03-26
9
FareedKhan-dev/kimi-k3-in-c

一个拥有 2.78 万亿参数的 Kimi K3 模型,在单核 CPU 和 8.24 GB 内存下运行推理。可移植 C99 代码:无 BLAS,无框架,无 GPU。

FareedKhan-dev
⭐ 12,523 C 👤 FareedKhan-dev User 🕐 已更新 2026-11-16 📅 创建时间 2026-08-01
10
artidoro/qlora

QLoRA:量化大模型的 efficient Finetuning

artidoro
⭐ 10,804 Jupyter Notebook 👤 artidoro User 🕐 已更新 2024-06-10 📅 创建时间 2023-05-11
11
bitsandbytes-foundation/bitsandbytes

通过 k-bit 量化实现的 PyTorch 可访问大语言模型。

bitsandbytes-foundation
⭐ 8,548 Python 👤 bitsandbytes-foundation Organization 🕐 已更新 2026-11-02 📅 创建时间 2021-06-04
12
gpu-mode/lectures

gpu模式讲义

gpu-mode
⭐ 7,109 Jupyter Notebook 👤 gpu-mode Organization 🕐 已更新 2026-09-09 📅 创建时间 2024-01-20
13
meta-pytorch/gpt-fast

python < 1000 LOC 内实现简单高效的 Pytorch 原生 Transformer 文本生成。

meta-pytorch
⭐ 6,244 Python 👤 meta-pytorch Organization 🕐 已更新 2025-08-22 📅 创建时间 2023-10-17
14
Lightning-AI/lit-llama

基于nanoGPT的LLaMA语言模型实现。支持flash attention,Int8和GPTQ 4bit量化,LoRA和LLaMA-Adapter微调,预训练。Apache 2.0许可。

Lightning-AI
⭐ 6,084 Python 👤 Lightning-AI Organization 🕐 已更新 2025-07-01 📅 创建时间 2023-03-22
15
kornelski/pngquant

有损 PNG 压缩器 — 基于 libimagequant 库的 pngquant 命令

kornelski
⭐ 5,773 C 👤 kornelski User 🕐 已更新 2026-10-27 📅 创建时间 2009-09-17
16
ztxz16/fastllm

fastllm 是一个不依赖后端的高性能大模型推理库,帮助您在大多数设备上高效运行大模型推理!

ztxz16
⭐ 5,133 C++ 👤 ztxz16 User 🕐 已更新 2026-11-21 📅 创建时间 2023-05-13
17
OpenNMT/CTranslate2

Transformer 模型的快速推理引擎

OpenNMT
⭐ 4,758 C++ 👤 OpenNMT Organization 🕐 已更新 2026-11-21 📅 创建时间 2019-09-23
18
turboderp-org/exllamav2

在现代消费级GPU上本地运行LLM的快速推理库

turboderp-org
⭐ 4,653 Python 👤 turboderp-org Organization 🕐 已更新 2026-03-04 📅 创建时间 2023-08-30
19
CalvinXKY/InfraTech

分享AI Infra知识&代码练习:PyTorch、vLLM/SGLang、slime/vime框架入门⚡️、性能加速🚀、大模型基础🧠、AI软硬件🔧等

CalvinXKY
⭐ 4,411 Jupyter Notebook 👤 CalvinXKY User 🕐 已更新 2026-09-20 📅 创建时间 2025-11-14
20
thu-ml/SageAttention

[ICLR2025, ICML2025, NeurIPS2025 Spotlight] 量化注意力(Quantized Attention)相比 FlashAttention 实现了 2-5 倍的加速,同时在语言、图像和视频模型上没有损失端到端指标。

thu-ml
⭐ 4,017 Cuda 👤 thu-ml Organization 🕐 已更新 2026-01-17 📅 创建时间 2024-10-03
21
vllm-project/llm-compressor

业界领先的大语言模型压缩技术,为使用 vLLM 的生产环境推理而打造

vllm-project
⭐ 3,981 Python 👤 vllm-project Organization 🕐 已更新 2026-11-21 📅 创建时间 2024-06-20
22
nunchux-ai/nunchaku

[ICLR2025 Spotlight] SVDQuant: 通过低秩分量吸收异常值用于4位扩散模型

nunchux-ai
⭐ 3,969 Python 👤 nunchux-ai Organization 🕐 已更新 2026-09-06 📅 创建时间 2024-11-06
23
NVlabs/VILA

VILA 是一个由最先进的视觉语言模型 (VLM) 组成的系列,适用于边缘、数据中心和云端的各种多模态人工智能任务。

NVlabs
⭐ 3,873 Python 👤 NVlabs Organization 🕐 已更新 2026-03-12 📅 创建时间 2024-02-23
24
amitshekhariitbhu/ai-engineering-interview-questions

AI工程面试备忘单 – 问题与答案。

amitshekhariitbhu
⭐ 3,707 Markdown 👤 amitshekhariitbhu User 🕐 已更新 2026-11-21 📅 创建时间 2026-03-21
25
mit-han-lab/llm-awq

[MLSys 2024 Best Paper Award] AWQ: LLM压缩和加速的激活感知权重量化

mit-han-lab
⭐ 3,590 Python 👤 mit-han-lab Organization 🕐 已更新 2025-07-17 📅 创建时间 2023-06-01
26
huggingface/optimum

使用易于使用的硬件优化工具,加速 🤗 Transformers, Diffusers, TIMM 和 Sentence Transformers 的推理和训练

huggingface
⭐ 3,525 Python 👤 huggingface Organization 🕐 已更新 2026-11-16 📅 创建时间 2021-07-20
27
ikawrakow/ik_llama.cpp

带有附加 SOTA 量化和性能改进的 llama.cpp 分支 fork

ikawrakow
⭐ 3,411 C++ 👤 ikawrakow User 🕐 已更新 2026-11-21 📅 创建时间 2024-06-27
28
huawei-noah/Pretrained-Language-Model

由华为诺亚方舟实验室开发的预训练语言模型及其相关优化技术。

huawei-noah
⭐ 3,152 Python 👤 huawei-noah Organization 🕐 已更新 2024-01-22 📅 创建时间 2019-12-02
29
mw00/project-maya

在您自己的 GPU 上运行 GLM-5.3(744B)、DeepSeek-V4.1-Flash(748B)、MiniMax-M3.1-Flash(428B)、GLM-5.3-Flash(321B)和 Hy4-Flash(220B)——最低仅需 8 GB 显存,支持 NVIDIA 和 AMD,统一仪表板,并提供兼容 OpenAI 和 Anthropic 的 API。

mw00
⭐ 3,140 C++ 👤 mw00 User 🕐 已更新 2026-11-21 📅 创建时间 2026-10-06
30
pytorch/ao

用于训练和推理的 PyTorch 原生量化

pytorch
⭐ 3,032 Python 👤 pytorch Organization 🕐 已更新 2026-11-21 📅 创建时间 2023-11-03
31
nunchux-ai/ComfyUI-nunchaku

Nunchaku 的 ComfyUI 插件

nunchux-ai
⭐ 2,934 Python 👤 nunchux-ai Organization 🕐 已更新 2026-09-06 📅 创建时间 2025-03-12
32
black-forest-labs/flux2

FLUX.2 模型的官方推理仓库

black-forest-labs
⭐ 2,886 Python 👤 black-forest-labs Organization 🕐 已更新 2026-03-12 📅 创建时间 2025-11-24
33
syv-ai/HyperQwen

在你实际拥有的 GPU 上快速部署大型 Qwen 模型。使用 vLLM 在单张 24 GB 显卡上运行 Qwen3.8-27B:单用户 127 token/秒(答案引用提示词时为 381 token/秒),64 路并发时约 1,035 token/秒,支持 150k–262k 上下文。vLLM 补丁、重新量化流程与基准测试。

syv-ai
⭐ 2,778 Python 👤 syv-ai Organization 🕐 已更新 2026-11-10 📅 创建时间 2026-08-15
34
qualcomm/aimet

AIMET 是一个为训练好的神经网络模型提供先进量化和压缩技术的库。

qualcomm
⭐ 2,748 Python 👤 qualcomm Organization 🕐 已更新 2026-11-21 📅 创建时间 2020-04-21
35
intel/neural-compressor

最先进(SOTA)的低位LLM量化(INT8/FP8/MXFP8/INT4/MXFP4/NVFP4)和稀疏性;在PyTorch、TensorFlow和ONNX Runtime上领先的模型压缩技术

intel
⭐ 2,733 Python 👤 intel Organization 🕐 已更新 2026-11-20 📅 创建时间 2020-07-21
36
stochasticai/xTuring

构建、个性化和控制您自己的 LLM。从数据预处理到微调,xTuring 提供了一种轻松个性化开源 LLM 的方法。加入我们的 Discord 社区:https://discord.gg/TgHXuSJEk6

stochasticai
⭐ 2,680 Python 👤 stochasticai Organization 🕐 已更新 2026-11-05 📅 创建时间 2023-03-19
37
adithya-s-k/AI-Engineering.academy

一次掌握一个应用AI概念

adithya-s-k
⭐ 2,388 Jupyter Notebook 👤 adithya-s-k User 🕐 已更新 2026-02-27 📅 创建时间 2023-10-05
38
dvmazur/mixtral-offloading

在 Colab 或消费级台式机上运行 Mixtral-8x7B 模型

dvmazur
⭐ 2,327 Python 👤 dvmazur User 🕐 已更新 2024-04-08 📅 创建时间 2023-12-15
39
aixcoder-plugin/aiXcoder-7B

aiXcoder-7B 代码大型语言模型的官方仓库

aixcoder-plugin
⭐ 2,273 Python 👤 aixcoder-plugin Organization 🕐 已更新 2025-07-09 📅 创建时间 2024-03-30
40
666DZY666/micronet

micronet,一个模型压缩和部署库。压缩:1、量化:量化感知训练(QAT),高位(>2b)(DoReFa/Quantization and Training of Neural Networks for Efficient Integer-Arithmetic-Only Inference)、低位(≤2b)/三元和二元(TWN/BNN/XNOR-Net);后训练量化(PTQ),8位(tensorrt);2、剪枝:正常、规则和组卷积通道剪枝;3、组卷积结构;4、批量归一化融合用于量化。部署:tensorrt, fp32/fp16/in

666DZY666
⭐ 2,270 Python 👤 666DZY666 User 🕐 已更新 2025-05-06 📅 创建时间 2019-12-04
41
IST-DASLab/gptq

ICLR 2023 论文“GPTQ: Accurate Post-training Quantization of Generative Pretrained Transformers”的代码。

IST-DASLab
⭐ 2,241 Python 👤 IST-DASLab Organization 🕐 已更新 2024-03-27 📅 创建时间 2022-10-19
42
RightNow-AI/picolm

在配备256 MB RAM的$10板上运行一个10亿参数的LLM.

RightNow-AI
⭐ 2,218 C 👤 RightNow-AI Organization 🕐 已更新 2026-02-22 📅 创建时间 2026-02-19
43
bigcode-project/starcoder2

StarCoder2 的家!

bigcode-project
⭐ 2,018 Python 👤 bigcode-project Organization 🕐 已更新 2024-03-21 📅 创建时间 2023-12-08
44
intel/intel-extension-for-pytorch

一个用于扩展官方 PyTorch 的 Python 包,可以轻松在 Intel 平台上获得高性能

intel
⭐ 2,012 Python 👤 intel Organization 🕐 已更新 2026-03-13 📅 创建时间 2020-04-15
45
turboderp-org/exllamav3

一款优化的量化和推理库,用于在现代消费级 GPU 上本地运行 LLM

turboderp-org
⭐ 1,853 Python 👤 turboderp-org Organization 🕐 已更新 2026-11-19 📅 创建时间 2025-04-06
46
Tencent/AngelSlim

专为提升可用性、全面性和效率而设计的模型压缩工具包。

Tencent
⭐ 1,811 Python 👤 Tencent Organization 🕐 已更新 2026-11-20 📅 创建时间 2025-07-04
47
OpenPPL/ppq

PPL Quantization Tool (PPQ) 是一个强大的离线神经网络量化工具。

OpenPPL
⭐ 1,774 Python 👤 OpenPPL Organization 🕐 已更新 2024-03-28 📅 创建时间 2021-12-30
48
Anemll/Anemll

Artificial Neural Engine Machine Learning Library

Anemll
⭐ 1,710 Python 👤 Anemll User 🕐 已更新 2026-10-31 📅 创建时间 2025-01-06
49
intel/auto-round

训练后量化的效率,量化感知训练的精度

intel
⭐ 1,706 Python 👤 intel Organization 🕐 已更新 2026-11-21 📅 创建时间 2024-01-04
50
microsoft/onnxruntime-inference-examples

用于机器学习推理的ONNX Runtime使用示例。

microsoft
⭐ 1,703 C++ 👤 microsoft Organization 🕐 已更新 2026-11-10 📅 创建时间 2021-04-09

常见问题解答

1

GitHub 上最受欢迎的 #quantization 仓库是什么?

GitHub 上排名第一的开源 #quantization 项目是 hiyouga/LlamaFactory,拥有 76,171 个 Star。100+ LLM与VLM的统一高效微调 (ACL 2024)

2

#quantization 仓库中最常使用的编程语言有哪些?

在 GitHub 上排名靠前的 #quantization 项目中,最常见的编程语言是 Python, C++, Jupyter Notebook, C。

3

#quantization 仓库的排名是如何计算的?

我们跟踪了 109 个标记为 #quantization 且拥有 500+ 个 Star 的活跃开源仓库,共计获得 487,465 个 Star,平均每个仓库拥有 4,472 个 Star。排名每日根据 GitHub API 更新。