Git Stars Git Stars

#quantization Repository

109
Totale Repository
487,465
Totale stelle
4,472
Media Stelle/Repo
51
open-mmlab/mmrazor

OpenMMLab Model Compression Toolbox e Benchmark.

open-mmlab
โญ 1,653 Python ๐Ÿ‘ค open-mmlab Organization ๐Ÿ• Aggiornato 2024-06-11 ๐Ÿ“… Creato 2021-12-22
52
PaddlePaddle/PaddleSlim

PaddleSlim รจ una libreria open-source per la compressione di modelli profondi e la ricerca di architetture.

PaddlePaddle
โญ 1,613 Python ๐Ÿ‘ค PaddlePaddle Organization ๐Ÿ• Aggiornato 2026-01-04 ๐Ÿ“… Creato 2019-12-16
53
pytorch/FBGEMM

FB (Facebook) + GEMM (Moltiplicazione Generale di Matrice per Matrice) - https://code.fb.com/ml-applications/fbgemm/

pytorch
โญ 1,604 C++ ๐Ÿ‘ค pytorch Organization ๐Ÿ• Aggiornato 2026-11-21 ๐Ÿ“… Creato 2018-09-24
54
Xilinx/brevitas

Brevitas: Quantizzazione di reti neurali in PyTorch

Xilinx
โญ 1,601 Python ๐Ÿ‘ค Xilinx Organization ๐Ÿ• Aggiornato 2026-11-21 ๐Ÿ“… Creato 2018-07-10
55
tensorflow/model-optimization

Un toolkit per ottimizzare modelli ML per il deployment su Keras e TensorFlow, inclusa quantizzazione e pruning.

tensorflow
โญ 1,584 Python ๐Ÿ‘ค tensorflow Organization ๐Ÿ• Aggiornato 2026-11-20 ๐Ÿ“… Creato 2018-10-31
56
RWKV/rwkv.cpp

Inferenza INT4/INT5/INT8 e FP16 su CPU per il modello linguistico RWKV

RWKV
โญ 1,570 C++ ๐Ÿ‘ค RWKV Organization ๐Ÿ• Aggiornato 2025-03-23 ๐Ÿ“… Creato 2023-03-30
57
AnswerDotAI/fsdp_qlora

Addestramento di LLM con QLoRA + FSDP

AnswerDotAI
โญ 1,534 Jupyter Notebook ๐Ÿ‘ค AnswerDotAI Organization ๐Ÿ• Aggiornato 2024-11-09 ๐Ÿ“… Creato 2024-01-14
58
synchopate/llama-modchip

Inferenza su CPU senza GPU per modelli MoE da 30B a 284B (Qwen3.8 176.5B certificato con cache fredda in Cgroup v2 a 28,26/48,35 GiB, DeepSeek-V4 284B, Nemotron-30B) + RouteCrack 2.0.

synchopate
โญ 1,398 Python ๐Ÿ‘ค synchopate User ๐Ÿ• Aggiornato 2026-11-21 ๐Ÿ“… Creato 2026-10-29
59
RahulSChand/gpu_poor

Calcola il requisito di memoria GPU/token per qualsiasi LLM. Supporta la quantizzazione llama.cpp/ggml/bnb/QLoRA

RahulSChand
โญ 1,383 JavaScript ๐Ÿ‘ค RahulSChand User ๐Ÿ• Aggiornato 2024-12-03 ๐Ÿ“… Creato 2023-09-12
60
open-edge-platform/geti

Crea, addestra, ottimizza ed esegui modelli di computer vision localmente, dalle immagini grezze allโ€™inferenza in tempo reale. Open source e ottimizzato per Intelยฎ XPU (supporta anche CUDA).

open-edge-platform
โญ 1,379 Python ๐Ÿ‘ค open-edge-platform Organization ๐Ÿ• Aggiornato 2026-11-21 ๐Ÿ“… Creato 2018-10-26
62
huawei-noah/Efficient-Computing

Metodi di calcolo efficienti sviluppati da Huawei Noah's Ark Lab

huawei-noah
โญ 1,306 Jupyter Notebook ๐Ÿ‘ค huawei-noah Organization ๐Ÿ• Aggiornato 2024-11-05 ๐Ÿ“… Creato 2019-09-04
63
ModelCloud/GPTQModel

Toolkit per la quantizzazione (compressione) di modelli LLM, con supporto allโ€™accelerazione hardware per Nvidia CUDA, AMD ROCm, Intel XPU, Tenstorrent, NPU Huawei Ascend e CPU Intel/AMD/Apple tramite HF, vLLM e SGLang.

ModelCloud
โญ 1,294 Python ๐Ÿ‘ค ModelCloud Organization ๐Ÿ• Aggiornato 2026-11-21 ๐Ÿ“… Creato 2024-06-17
64
thu-ml/SpargeAttn

[ICML2025] SpargeAttention: Un'attenzione sparsa senza addestramento che accelera l'inferenza di qualsiasi modello.

thu-ml
โญ 1,269 Cuda ๐Ÿ‘ค thu-ml Organization ๐Ÿ• Aggiornato 2026-02-25 ๐Ÿ“… Creato 2025-02-25
65
openvinotoolkit/nncf

Framework di compressione della rete neurale per un'inferenza OpenVINOโ„ข avanzata

openvinotoolkit
โญ 1,221 Python ๐Ÿ‘ค openvinotoolkit Organization ๐Ÿ• Aggiornato 2026-11-18 ๐Ÿ“… Creato 2020-05-13
66
gpu-mode/awesomeMLSys

Un elenco di onboarding per sistemi ML

gpu-mode
โญ 1,154 ๐Ÿ‘ค gpu-mode Organization ๐Ÿ• Aggiornato 2026-02-19 ๐Ÿ“… Creato 2024-05-06
67
HarryR/z80ai

Z80-ฮผLM รจ un modello linguistico quantizzato a 2 bit abbastanza piccolo da poter funzionare su un processore Z80 a 8 bit. Addestra modelli conversazionali in Python, esportali come binari CP/M .COM e chatta con il tuo computer d'epoca.

HarryR
โญ 1,141 Python ๐Ÿ‘ค HarryR User ๐Ÿ• Aggiornato 2026-04-29 ๐Ÿ“… Creato 2025-12-21
68
Xilinx/finn

Compilatore dataflow per l'inferenza QNN su FPGA

Xilinx
โญ 1,093 Python ๐Ÿ‘ค Xilinx Organization ๐Ÿ• Aggiornato 2026-11-21 ๐Ÿ“… Creato 2018-06-29
69
hyperionaidev/smolmaxxing

Massimizzare la capacitร  di eseguire diversi LLM sui dispositivi piรน piccoli possibili

hyperionaidev
โญ 1,079 C ๐Ÿ‘ค hyperionaidev Organization ๐Ÿ• Aggiornato 2026-11-19 ๐Ÿ“… Creato 2026-11-04
70
huggingface/optimum-quanto

Un backend di quantizzazione PyTorch per Optimum

huggingface
โญ 1,055 Python ๐Ÿ‘ค huggingface Organization ๐Ÿ• Aggiornato 2026-11-17 ๐Ÿ“… Creato 2023-09-19
71
darrencxl0301/StageRAG

Un progetto per la creazione di sistemi RAG pronti per la produzione che minimizzano le allucinazioni, caratterizzato da pipeline commutabili a 3 passaggi (Velocitร ) e 4 passaggi (Precisione).

darrencxl0301
โญ 1,036 Python ๐Ÿ‘ค darrencxl0301 User ๐Ÿ• Aggiornato 2025-10-13 ๐Ÿ“… Creato 2025-10-01
72
MAC-AutoML/MindPipe

Un framework potente di compressione di modelli per LLMs e LVLMs, adattato per GPU NVIDIA e NPU Huawei Ascend.

MAC-AutoML
โญ 1,013 Python ๐Ÿ‘ค MAC-AutoML Organization ๐Ÿ• Aggiornato 2026-08-11 ๐Ÿ“… Creato 2026-01-22
73
PINTO0309/onnx2tf

Uno strumento per convertire file ONNX in LiteRT/TFLite/TensorFlow, codice nativo PyTorch (nn.Module), TorchScript (.pt), state_dict (.pt), Exported Program (.pt2) e Dynamo ONNX. Supporta anche la conversione diretta da LiteRT a PyTorch.

PINTO0309
โญ 1,004 Python ๐Ÿ‘ค PINTO0309 User ๐Ÿ• Aggiornato 2026-09-14 ๐Ÿ“… Creato 2022-09-27
74
IST-DASLab/marlin

Un kernel di inferenza LLM FP16xINT4 che puรฒ ottenere accelerazioni vicine all'ideale di circa 4x fino a batch di medie dimensioni da 16-32 token.

IST-DASLab
โญ 973 Python ๐Ÿ‘ค IST-DASLab Organization ๐Ÿ• Aggiornato 2024-09-04 ๐Ÿ“… Creato 2024-01-17
75
OpenGVLab/OmniQuant

[ICLR2024 Spotlight] OmniQuant รจ una tecnica di quantizzazione semplice e potente per gli LLM.

OpenGVLab
โญ 970 Python ๐Ÿ‘ค OpenGVLab Organization ๐Ÿ• Aggiornato 2025-11-26 ๐Ÿ“… Creato 2023-08-22
76
dropbox/hqq

Implementazione ufficiale di Half-Quadratic Quantization (HQQ)

dropbox
โญ 963 Python ๐Ÿ‘ค dropbox Organization ๐Ÿ• Aggiornato 2026-02-26 ๐Ÿ“… Creato 2023-11-07
77
ImageOptim/libimagequant

Libreria di quantizzazione della palette che alimenta pngquant e altri ottimizzatori PNG

ImageOptim
โญ 940 Rust ๐Ÿ‘ค ImageOptim Organization ๐Ÿ• Aggiornato 2026-06-21 ๐Ÿ“… Creato 2016-11-03
78
mit-han-lab/TinyChatEngine

TinyChatEngine: Libreria di inferenza LLM su dispositivo

mit-han-lab
โญ 934 C++ ๐Ÿ‘ค mit-han-lab Organization ๐Ÿ• Aggiornato 2024-07-04 ๐Ÿ“… Creato 2023-05-24
79
facebookresearch/mobile-vision

Modelli di visione mobile e codice

facebookresearch
โญ 923 Python ๐Ÿ‘ค facebookresearch Organization ๐Ÿ• Aggiornato 2026-10-21 ๐Ÿ“… Creato 2019-01-09
80
mit-han-lab/tinyengine

[NeurIPS 2020] MCUNet: Tiny Deep Learning su Dispositivi IoT; [NeurIPS 2021] MCUNetV2: Inferenza basata su patch ad alta efficienza di memoria per Tiny Deep Learning; [NeurIPS 2022] MCUNetV3: Addestramento On-Device con meno di 256KB di memoria

mit-han-lab
โญ 916 C ๐Ÿ‘ค mit-han-lab Organization ๐Ÿ• Aggiornato 2024-11-27 ๐Ÿ“… Creato 2022-08-24
81
amd/RyzenAI-SW

AMD Ryzenโ„ข AI Software include gli strumenti e le librerie di runtime per ottimizzare e distribuire l'inferenza AI su PC basati su AMD Ryzenโ„ข AI.

amd
โญ 902 Python ๐Ÿ‘ค amd Organization ๐Ÿ• Aggiornato 2026-11-18 ๐Ÿ“… Creato 2023-05-12
82
whitecircle/halo

Halo รจ un framework open source sviluppato da White Circle per addestrare modelli linguistici di grandi dimensioni e modelli multimodali

whitecircle
โญ 868 Python ๐Ÿ‘ค whitecircle Organization ๐Ÿ• Aggiornato 2026-11-21 ๐Ÿ“… Creato 2026-08-26
83
IST-DASLab/sparsegpt

Codice per l'articolo ICML 2023 "SparseGPT: Massive Language Models Can Be Accurately Pruned in One-Shot".

IST-DASLab
โญ 859 Python ๐Ÿ‘ค IST-DASLab Organization ๐Ÿ• Aggiornato 2024-08-20 ๐Ÿ“… Creato 2023-03-20
84
mit-han-lab/omniserve

[MLSys'25] QServe: Quantizzazione W4A8KV4 e co-progettazione del sistema per un serving efficiente di LLM; [MLSys'25] LServe: Serving efficiente di LLM per sequenze lunghe con attenzione sparsa unificata

mit-han-lab
โญ 840 C++ ๐Ÿ‘ค mit-han-lab Organization ๐Ÿ• Aggiornato 2025-03-06 ๐Ÿ“… Creato 2024-05-06
85
warpfront/hipfire

Motore di inferenza LLM nativo RDNA in Rust.

warpfront
โญ 826 Rust ๐Ÿ‘ค warpfront Organization ๐Ÿ• Aggiornato 2026-11-21 ๐Ÿ“… Creato 2026-03-21
86
Zhen-Dong/Awesome-Quantization-Papers

Elenco di articoli relativi alla quantizzazione delle reti neurali nelle recenti conferenze e riviste di IA.

Zhen-Dong
โญ 825 ๐Ÿ‘ค Zhen-Dong User ๐Ÿ• Aggiornato 2025-03-27 ๐Ÿ“… Creato 2022-01-01
87
datawhalechina/llm-algo-leetcode

Algoritmi e sistemi LLM con PyTorch, Triton e CUDA, con un approccio pratico. ยซTutorial sugli algoritmi e i sistemi LLMยป: architetture e addestramento dei modelli, post-addestramento, accelerazione dellโ€™inferenza, ottimizzazione delle prestazioni e degli operatori; include esercizi in Notebook, spiegazioni delle risposte, test ed esperimenti.

datawhalechina
โญ 811 Jupyter Notebook ๐Ÿ‘ค datawhalechina Organization ๐Ÿ• Aggiornato 2026-11-16 ๐Ÿ“… Creato 2026-04-01
88
huggingface/ratchet

Un framework ML multipiattaforma per browser.

huggingface
โญ 771 Rust ๐Ÿ‘ค huggingface Organization ๐Ÿ• Aggiornato 2026-09-24 ๐Ÿ“… Creato 2024-01-11
89
ModelTC/LightCompress

[EMNLP 2024 & AAAI 2026] Un potente toolkit per comprimere modelli di grandi dimensioni, inclusi LLM, VLM e modelli generativi video.

ModelTC
โญ 755 Python ๐Ÿ‘ค ModelTC Organization ๐Ÿ• Aggiornato 2026-05-14 ๐Ÿ“… Creato 2024-03-06
90
prabanta-dev/janas

37 tok/s con Qwen3-Next-80B (48 GB) su un laptop da 32 GB; 24 senza draft contro 2,8 con llama.cpp; lettura a 62 contro 16 tok/s. Piรน veloce di llama.cpp in tutti i 13 modelli confrontati in Q4_K_M. LLM piรน grandi della tua RAM, in puro C, per CPU o GPU.

prabanta-dev
โญ 738 C ๐Ÿ‘ค prabanta-dev Organization ๐Ÿ• Aggiornato 2026-11-20 ๐Ÿ“… Creato 2026-09-20
91
hailo-ai/hailo_model_zoo

Il Model Zoo di Hailo include modelli pre-addestrati e un ambiente completo per la creazione e la valutazione

hailo-ai
โญ 725 Python ๐Ÿ‘ค hailo-ai Organization ๐Ÿ• Aggiornato 2026-11-15 ๐Ÿ“… Creato 2021-07-13
92
SqueezeAILab/SqueezeLLM

[ICML 2024] SqueezeLLM: Quantizzazione densa e sparsa

SqueezeAILab
โญ 710 Python ๐Ÿ‘ค SqueezeAILab Organization ๐Ÿ• Aggiornato 2024-08-13 ๐Ÿ“… Creato 2023-06-12
โญ 663 Python ๐Ÿ‘ค nyunAI Organization ๐Ÿ• Aggiornato 2025-01-22 ๐Ÿ“… Creato 2024-07-08
94
wanshuiyin/ARIS-in-AI-Offer

Schede bilingui (cinese + inglese) per i colloqui su ML / LLM / diffusion / agenti nella selezione autunnale per lโ€™AI โ€” generate da ARIS /interview-cheatsheet e trasformate da /render-html in file HTML singoli leggibili ovunque โ€” oltre a un generatore di homepage accademiche verificato rispetto a CVโ†’DBLP e blog in formato lungo scritti personalmente ๐ŸŒฑ

wanshuiyin
โญ 661 Python ๐Ÿ‘ค wanshuiyin User ๐Ÿ• Aggiornato 2026-11-18 ๐Ÿ“… Creato 2026-05-19
95
huawei-csl/SINQ

Benvenuto nel repository ufficiale di SINQ! Un metodo di quantizzazione innovativo, veloce e di alta qualitร  progettato per rendere qualsiasi Large Language Model piรน piccolo mantenendo la precisione [ICML 2026]

huawei-csl
โญ 638 Python ๐Ÿ‘ค huawei-csl Organization ๐Ÿ• Aggiornato 2026-05-08 ๐Ÿ“… Creato 2025-09-26
96
ServiceStack/llms

Client LLM, API Server e UI

ServiceStack
โญ 631 JavaScript ๐Ÿ‘ค ServiceStack Organization ๐Ÿ• Aggiornato 2026-11-21 ๐Ÿ“… Creato 2025-09-23
97
hahnyuan/LLM-Viewer

Analizzare l'inferenza dei Large Language Models (LLM). Analizzare aspetti come il calcolo, lo storage, la trasmissione e il modello di efficienza hardware (roofline model) in un'interfaccia user-friendly.

hahnyuan
โญ 600 Python ๐Ÿ‘ค hahnyuan User ๐Ÿ• Aggiornato 2024-09-11 ๐Ÿ“… Creato 2024-01-07
98
google/qkeras

QKeras: una libreria di deep learning a quantizzazione per Tensorflow Keras

google
โญ 583 Python ๐Ÿ‘ค google Organization ๐Ÿ• Aggiornato 2026-02-23 ๐Ÿ“… Creato 2019-08-06
99
MPolaris/onnx2tflite

Strumento per onnx->keras o onnx->tflite. Spero che questo strumento possa esserti d'aiuto.

MPolaris
โญ 577 Python ๐Ÿ‘ค MPolaris User ๐Ÿ• Aggiornato 2026-06-21 ๐Ÿ“… Creato 2022-04-11
100
csyhhu/Awesome-Deep-Neural-Network-Compression

Riassunto, Codice per la Quantizzazione di Reti Neurali Profonde

csyhhu
โญ 562 Python ๐Ÿ‘ค csyhhu User ๐Ÿ• Aggiornato 2026-09-01 ๐Ÿ“… Creato 2019-02-28