Git Stars Git Stars

#quantization 저장소

109
총 리포지토리
487,465
총 별점
4,472
리포지토리당 평균 스타 수

저장소 총 109개

51
open-mmlab/mmrazor

OpenMMLab 모델 압축 툴박스 및 벤치마크.

open-mmlab
⭐ 1,653 Python 👤 open-mmlab Organization 🕐 업데이트됨 2024-06-11 📅 생성됨 2021-12-22
52
PaddlePaddle/PaddleSlim

PaddleSlim은 딥 모델 압축 및 아키텍처 검색을 위한 오픈 소스 라이브러리입니다.

PaddlePaddle
⭐ 1,613 Python 👤 PaddlePaddle Organization 🕐 업데이트됨 2026-01-04 📅 생성됨 2019-12-16
53
pytorch/FBGEMM

FB (Facebook) + GEMM (일반 행렬-행렬 곱셈) - https://code.fb.com/ml-applications/fbgemm/

pytorch
⭐ 1,604 C++ 👤 pytorch Organization 🕐 업데이트됨 2026-11-21 📅 생성됨 2018-09-24
54
Xilinx/brevitas

Brevitas: PyTorch에서의 신경망 양자화

Xilinx
⭐ 1,601 Python 👤 Xilinx Organization 🕐 업데이트됨 2026-11-21 📅 생성됨 2018-07-10
55
tensorflow/model-optimization

Keras와 TensorFlow를 위한 배포 최적화를 위한 ML 모델 최적화 툴킷으로, 양자화와 프루닝을 포함합니다.

tensorflow
⭐ 1,584 Python 👤 tensorflow Organization 🕐 업데이트됨 2026-11-20 📅 생성됨 2018-10-31
56
RWKV/rwkv.cpp

RWKV 언어 모델을 위한 CPU에서의 INT4/INT5/INT8 및 FP16 추론

RWKV
⭐ 1,570 C++ 👤 RWKV Organization 🕐 업데이트됨 2025-03-23 📅 생성됨 2023-03-30
57
AnswerDotAI/fsdp_qlora

QLoRA + FSDP를 사용한 LLM 학습

AnswerDotAI
⭐ 1,534 Jupyter Notebook 👤 AnswerDotAI Organization 🕐 업데이트됨 2024-11-09 📅 생성됨 2024-01-14
58
synchopate/llama-modchip

30B~284B MoE 모델을 위한 제로 GPU CPU 추론(Qwen3.8 176.5B는 28.26/48.35 GiB Cgroup v2 콜드 캐시 환경에서 인증 완료, DeepSeek-V4 284B, Nemotron-30B) + RouteCrack 2.0.

synchopate
⭐ 1,398 Python 👤 synchopate User 🕐 업데이트됨 2026-11-21 📅 생성됨 2026-10-29
59
RahulSChand/gpu_poor

모든 LLM의 토큰/초 및 GPU 메모리 요구 사항을 계산합니다. llama.cpp/ggml/bnb/QLoRA 양자화를 지원합니다.

RahulSChand
⭐ 1,383 JavaScript 👤 RahulSChand User 🕐 업데이트됨 2024-12-03 📅 생성됨 2023-09-12
60
open-edge-platform/geti

원본 이미지부터 실시간 추론까지 컴퓨터 비전 모델을 로컬에서 구축, 학습, 최적화 및 실행하세요. 오픈 소스이며 Intel® XPU에 최적화되어 있습니다(CUDA도 지원).

open-edge-platform
⭐ 1,379 Python 👤 open-edge-platform Organization 🕐 업데이트됨 2026-11-21 📅 생성됨 2018-10-26
62
huawei-noah/Efficient-Computing

화웨이 노아의 방주 연구소에서 개발한 효율적인 컴퓨팅 방법

huawei-noah
⭐ 1,306 Jupyter Notebook 👤 huawei-noah Organization 🕐 업데이트됨 2024-11-05 📅 생성됨 2019-09-04
63
ModelCloud/GPTQModel

HF, vLLM, SGLang을 통해 Nvidia CUDA, AMD ROCm, Intel XPU, Tenstorrent, Huawei Ascend NPU 및 Intel/AMD/Apple CPU의 하드웨어 가속을 지원하는 LLM 모델 양자화(압축) 툴킷.

ModelCloud
⭐ 1,294 Python 👤 ModelCloud Organization 🕐 업데이트됨 2026-11-21 📅 생성됨 2024-06-17
64
thu-ml/SpargeAttn

[ICML2025] SpargeAttention: 모든 모델 추론을 가속하는 훈련 없는 희소 어텐션.

thu-ml
⭐ 1,269 Cuda 👤 thu-ml Organization 🕐 업데이트됨 2026-02-25 📅 생성됨 2025-02-25
65
openvinotoolkit/nncf

향상된 OpenVINO™ 추론을 위한 신경망 압축 프레임워크

openvinotoolkit
⭐ 1,221 Python 👤 openvinotoolkit Organization 🕐 업데이트됨 2026-11-18 📅 생성됨 2020-05-13
66
gpu-mode/awesomeMLSys

ML 시스템 온보딩 목록

gpu-mode
⭐ 1,154 👤 gpu-mode Organization 🕐 업데이트됨 2026-02-19 📅 생성됨 2024-05-06
67
HarryR/z80ai

Z80-μLM은 8비트 Z80 프로세서에서 실행될 수 있을 만큼 작은 2비트 양자화 언어 모델입니다. Python에서 대화 모델을 훈련하고, 이를 CP/M .COM 바이너리로 내보내어, 빈티지 컴퓨터와 채팅할 수 있습니다.

HarryR
⭐ 1,141 Python 👤 HarryR User 🕐 업데이트됨 2026-04-29 📅 생성됨 2025-12-21
68
Xilinx/finn

FPGA에서 QNN 추론을 위한 데이터플로 컴파일러

Xilinx
⭐ 1,093 Python 👤 Xilinx Organization 🕐 업데이트됨 2026-11-21 📅 생성됨 2018-06-29
69
hyperionaidev/smolmaxxing

가능한 한 작은 기기에서 다양한 LLM을 실행할 수 있는 능력을 극대화하기

hyperionaidev
⭐ 1,079 C 👤 hyperionaidev Organization 🕐 업데이트됨 2026-11-19 📅 생성됨 2026-11-04
70
huggingface/optimum-quanto

Optimum을 위한 PyTorch 양자화 백엔드

huggingface
⭐ 1,055 Python 👤 huggingface Organization 🕐 업데이트됨 2026-11-17 📅 생성됨 2023-09-19
71
darrencxl0301/StageRAG

환각을 최소화하는 프로덕션 준비 RAG 시스템 구축을 위한 청사진으로, 전환 가능한 3단계(속도) 및 4단계(정밀도) 파이프라인을 특징으로 합니다.

darrencxl0301
⭐ 1,036 Python 👤 darrencxl0301 User 🕐 업데이트됨 2025-10-13 📅 생성됨 2025-10-01
72
MAC-AutoML/MindPipe

LLM 및 LVLM을 위한 강력한 모델 압축 프레임워크로, NVIDIA GPU와 Huawei Ascend NPU에 최적화됨.

MAC-AutoML
⭐ 1,013 Python 👤 MAC-AutoML Organization 🕐 업데이트됨 2026-08-11 📅 생성됨 2026-01-22
73
PINTO0309/onnx2tf

ONNX 파일을 LiteRT/TFLite/TensorFlow, PyTorch 네이티브 코드 (nn.Module), TorchScript (.pt), state_dict (.pt), Exported Program (.pt2), Dynamo ONNX로 변환하는 도구입니다. 또한 LiteRT에서 PyTorch로의 직접 변환도 지원합니다.

PINTO0309
⭐ 1,004 Python 👤 PINTO0309 User 🕐 업데이트됨 2026-09-14 📅 생성됨 2022-09-27
74
IST-DASLab/marlin

16-32개의 토큰 배치 크기까지 거의 이상적인 ~4배 속도 향상을 달성할 수 있는 FP16xINT4 LLM 추론 커널.

IST-DASLab
⭐ 973 Python 👤 IST-DASLab Organization 🕐 업데이트됨 2024-09-04 📅 생성됨 2024-01-17
75
OpenGVLab/OmniQuant

[ICLR2024 Spotlight] OmniQuant는 LLM을 위한 간단하고 강력한 양자화 기술입니다.

OpenGVLab
⭐ 970 Python 👤 OpenGVLab Organization 🕐 업데이트됨 2025-11-26 📅 생성됨 2023-08-22
76
dropbox/hqq

Half-Quadratic Quantization (HQQ)의 공식 구현

dropbox
⭐ 963 Python 👤 dropbox Organization 🕐 업데이트됨 2026-02-26 📅 생성됨 2023-11-07
77
ImageOptim/libimagequant

pngquant와 다른 PNG 최적화 도구를 구동하는 팔레트 양자화 라이브러리

ImageOptim
⭐ 940 Rust 👤 ImageOptim Organization 🕐 업데이트됨 2026-06-21 📅 생성됨 2016-11-03
78
mit-han-lab/TinyChatEngine

TinyChatEngine: 온디바이스 LLM 추론 라이브러리

mit-han-lab
⭐ 934 C++ 👤 mit-han-lab Organization 🕐 업데이트됨 2024-07-04 📅 생성됨 2023-05-24
79
facebookresearch/mobile-vision

모바일 비전 모델 및 코드

facebookresearch
⭐ 923 Python 👤 facebookresearch Organization 🕐 업데이트됨 2026-10-21 📅 생성됨 2019-01-09
80
mit-han-lab/tinyengine

[NeurIPS 2020] MCUNet: IoT 기기에서의 초소형 딥러닝; [NeurIPS 2021] MCUNetV2: 초소형 딥러닝을 위한 메모리 효율적인 패치 기반 추론; [NeurIPS 2022] MCUNetV3: 256KB 미만의 메모리로 온디바이스 학습

mit-han-lab
⭐ 916 C 👤 mit-han-lab Organization 🕐 업데이트됨 2024-11-27 📅 생성됨 2022-08-24
81
amd/RyzenAI-SW

AMD Ryzen™ AI 소프트웨어에는 AMD Ryzen™ AI 지원 PC에서 AI 추론을 최적화하고 배포하기 위한 도구 및 런타임 라이브러리가 포함되어 있습니다.

amd
⭐ 902 Python 👤 amd Organization 🕐 업데이트됨 2026-11-18 📅 생성됨 2023-05-12
82
whitecircle/halo

Halo는 White Circle이 대규모 언어 모델과 멀티모달 모델을 학습시키기 위해 구축한 오픈 소스 프레임워크입니다

whitecircle
⭐ 868 Python 👤 whitecircle Organization 🕐 업데이트됨 2026-11-21 📅 생성됨 2026-08-26
83
IST-DASLab/sparsegpt

ICML 2023 논문 "SparseGPT: Massive Language Models Can Be Accurately Pruned in One-Shot"에 대한 코드입니다.

IST-DASLab
⭐ 859 Python 👤 IST-DASLab Organization 🕐 업데이트됨 2024-08-20 📅 생성됨 2023-03-20
84
mit-han-lab/omniserve

[MLSys'25] QServe: 효율적인 LLM 서빙을 위한 W4A8KV4 양자화 및 시스템 공동 설계; [MLSys'25] LServe: 통합 희소 주의를 사용한 긴 시퀀스 LLM의 효율적인 서빙

mit-han-lab
⭐ 840 C++ 👤 mit-han-lab Organization 🕐 업데이트됨 2025-03-06 📅 생성됨 2024-05-06
85
warpfront/hipfire

Rust로 작성된 RDNA 네이티브 LLM 추론 엔진.

warpfront
⭐ 826 Rust 👤 warpfront Organization 🕐 업데이트됨 2026-11-21 📅 생성됨 2026-03-21
86
Zhen-Dong/Awesome-Quantization-Papers

최근 AI 콘퍼런스 및 저널의 신경망 양자화 관련 논문 목록.

Zhen-Dong
⭐ 825 👤 Zhen-Dong User 🕐 업데이트됨 2025-03-27 📅 생성됨 2022-01-01
87
datawhalechina/llm-algo-leetcode

PyTorch, Triton, CUDA를 활용해 LLM 알고리즘과 시스템을 실습합니다. 《LLM 알고리즘 및 시스템 튜토리얼》에서는 모델 아키텍처와 학습, 후속 학습, 추론 가속, 성능 및 연산자 최적화를 다루며, Notebook 실습, 정답 해설, 테스트와 실험도 제공합니다.

datawhalechina
⭐ 811 Jupyter Notebook 👤 datawhalechina Organization 🕐 업데이트됨 2026-11-16 📅 생성됨 2026-04-01
88
huggingface/ratchet

크로스 플랫폼 브라우저 ML 프레임워크.

huggingface
⭐ 771 Rust 👤 huggingface Organization 🕐 업데이트됨 2026-09-24 📅 생성됨 2024-01-11
89
ModelTC/LightCompress

[EMNLP 2024 & AAAI 2026] LLM, VLM 및 비디오 생성 모델을 포함한 대규모 모델 압축을 위한 강력한 툴킷입니다.

ModelTC
⭐ 755 Python 👤 ModelTC Organization 🕐 업데이트됨 2026-05-14 📅 생성됨 2024-03-06
90
prabanta-dev/janas

32GB 노트북에서 Qwen3-Next-80B(48GB)를 37 tok/s로 실행합니다. 드래프트 없이도 24 tok/s로, llama.cpp의 2.8 tok/s보다 빠릅니다. 읽기 속도는 62 tok/s 대 16 tok/s입니다. Q4_K_M으로 비교한 13개 모델 모두에서 llama.cpp보다 빠릅니다. RAM보다 큰 LLM도 순수 C로 CPU 또는 GPU에서 실행하세요.

prabanta-dev
⭐ 738 C 👤 prabanta-dev Organization 🕐 업데이트됨 2026-11-20 📅 생성됨 2026-09-20
91
hailo-ai/hailo_model_zoo

Hailo Model Zoo에는 사전 훈련된 모델과 전체 빌딩 및 평가 환경이 포함되어 있습니다.

hailo-ai
⭐ 725 Python 👤 hailo-ai Organization 🕐 업데이트됨 2026-11-15 📅 생성됨 2021-07-13
92
SqueezeAILab/SqueezeLLM

[ICML 2024] SqueezeLLM: Dense-and-Sparse Quantization

SqueezeAILab
⭐ 710 Python 👤 SqueezeAILab Organization 🕐 업데이트됨 2024-08-13 📅 생성됨 2023-06-12
94
wanshuiyin/ARIS-in-AI-Offer

AI 가을 채용을 위한 중·영 이중 언어 ML / LLM / diffusion / agent 면접 치트시트 — ARIS /interview-cheatsheet로 생성하고 /render-html로 어디서나 읽을 수 있는 단일 파일 HTML로 렌더링 — CV→DBLP 대조로 사실 확인한 학술 홈페이지 생성기와 직접 작성한 장문 블로그도 제공 🌱

wanshuiyin
⭐ 661 Python 👤 wanshuiyin User 🕐 업데이트됨 2026-11-18 📅 생성됨 2026-05-19
95
huawei-csl/SINQ

SINQ의 공식 저장소에 오신 것을 환영합니다! 대형 언어 모델을 정확도를 유지하면서 더 작게 만드는 것을 위해 설계된 새로운, 빠르고 고품질 양자화 방법 [ICML 2026]

huawei-csl
⭐ 638 Python 👤 huawei-csl Organization 🕐 업데이트됨 2026-05-08 📅 생성됨 2025-09-26
96
ServiceStack/llms

LLM 클라이언트, 서버 API 및 UI

ServiceStack
⭐ 631 JavaScript 👤 ServiceStack Organization 🕐 업데이트됨 2026-11-21 📅 생성됨 2025-09-23
97
hahnyuan/LLM-Viewer

대규모 언어 모델(LLM)의 추론을 분석합니다. 사용자 친화적인 인터페이스에서 계산, 저장, 전송 및 하드웨어 지붕선 모델과 같은 측면을 분석합니다.

hahnyuan
⭐ 600 Python 👤 hahnyuan User 🕐 업데이트됨 2024-09-11 📅 생성됨 2024-01-07
98
google/qkeras

QKeras: TensorFlow Keras를 위한 양자화 딥러닝 라이브러리

google
⭐ 583 Python 👤 google Organization 🕐 업데이트됨 2026-02-23 📅 생성됨 2019-08-06
99
MPolaris/onnx2tflite

onnx->keras 또는 onnx->tflite용 툴입니다. 이 툴이 도움이 되기를 바랍니다.

MPolaris
⭐ 577 Python 👤 MPolaris User 🕐 업데이트됨 2026-06-21 📅 생성됨 2022-04-11
100
csyhhu/Awesome-Deep-Neural-Network-Compression

요약, 심층 신경망 양자화 코드

csyhhu
⭐ 562 Python 👤 csyhhu User 🕐 업데이트됨 2026-09-01 📅 생성됨 2019-02-28