Git Stars Git Stars

#quantization Repositories

109
Gesamtzahl der Repositories
487,465
Gesamtanzahl der Sterne
4,472
Durchschnittliche Sterne/Repo

Insgesamt 109 Repositories

51
open-mmlab/mmrazor

OpenMMLab Model Compression Toolbox und Benchmark.

open-mmlab
⭐ 1,653 Python 👤 open-mmlab Organization 🕐 Aktualisiert 2024-06-11 📅 Erstellt 2021-12-22
52
PaddlePaddle/PaddleSlim

PaddleSlim ist eine Open-Source-Bibliothek für die Komprimierung tiefer Modelle und die Architektursuche.

PaddlePaddle
⭐ 1,613 Python 👤 PaddlePaddle Organization 🕐 Aktualisiert 2026-01-04 📅 Erstellt 2019-12-16
53
pytorch/FBGEMM

FB (Facebook) + GEMM (Generische Matrix-Matrix-Multiplikation) - https://code.fb.com/ml-applications/fbgemm/

pytorch
⭐ 1,604 C++ 👤 pytorch Organization 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2018-09-24
54
Xilinx/brevitas

Brevitas: Quantisierung neuronaler Netze in PyTorch

Xilinx
⭐ 1,601 Python 👤 Xilinx Organization 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2018-07-10
55
tensorflow/model-optimization

Ein Toolkit zur Optimierung von ML-Modellen für die Bereitstellung bei Keras und TensorFlow, einschließlich Quantisierung und Pruning.

tensorflow
⭐ 1,584 Python 👤 tensorflow Organization 🕐 Aktualisiert 2026-11-20 📅 Erstellt 2018-10-31
56
RWKV/rwkv.cpp

INT4/INT5/INT8 und FP16-Inferenz auf CPU für das RWKV-Sprachmodell

RWKV
⭐ 1,570 C++ 👤 RWKV Organization 🕐 Aktualisiert 2025-03-23 📅 Erstellt 2023-03-30
57
AnswerDotAI/fsdp_qlora

Training von LLMs mit QLoRA + FSDP

AnswerDotAI
⭐ 1,534 Jupyter Notebook 👤 AnswerDotAI Organization 🕐 Aktualisiert 2024-11-09 📅 Erstellt 2024-01-14
58
synchopate/llama-modchip

GPU-freie CPU-Inferenz für 30B–284B-MoE-Modelle (Qwen3.8 176.5B mit kaltem Cache in Cgroup v2 bei 28,26/48,35 GiB zertifiziert, DeepSeek-V4 284B, Nemotron-30B) + RouteCrack 2.0.

synchopate
⭐ 1,398 Python 👤 synchopate User 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2026-10-29
59
RahulSChand/gpu_poor

Berechnen Sie den Token/s- & GPU-Speicherbedarf für jedes LLM. Unterstützt Quantisierung von llama.cpp/ggml/bnb/QLoRA

RahulSChand
⭐ 1,383 JavaScript 👤 RahulSChand User 🕐 Aktualisiert 2024-12-03 📅 Erstellt 2023-09-12
60
open-edge-platform/geti

Erstellen, trainieren, optimieren und betreiben Sie Computer-Vision-Modelle lokal – von Rohbildern bis zur Live-Inferenz. Open Source und für Intel® XPU optimiert (CUDA wird ebenfalls unterstützt).

open-edge-platform
⭐ 1,379 Python 👤 open-edge-platform Organization 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2018-10-26
62
huawei-noah/Efficient-Computing

Effiziente Rechenmethoden, entwickelt von Huawei Noah's Ark Lab

huawei-noah
⭐ 1,306 Jupyter Notebook 👤 huawei-noah Organization 🕐 Aktualisiert 2024-11-05 📅 Erstellt 2019-09-04
63
ModelCloud/GPTQModel

Toolkit zur Quantisierung (Komprimierung) von LLM-Modellen mit Hardwarebeschleunigung für Nvidia CUDA, AMD ROCm, Intel XPU, Tenstorrent, Huawei-Ascend-NPUs und Intel-/AMD-/Apple-CPUs über HF, vLLM und SGLang.

ModelCloud
⭐ 1,294 Python 👤 ModelCloud Organization 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2024-06-17
64
thu-ml/SpargeAttn

[ICML2025] SpargeAttention: Ein trainingsfreier spärlicher Aufmerksamkeitsmechanismus, der die Inferenz jedes Modells beschleunigt.

thu-ml
⭐ 1,269 Cuda 👤 thu-ml Organization 🕐 Aktualisiert 2026-02-25 📅 Erstellt 2025-02-25
65
openvinotoolkit/nncf

Framework für neuronale Netzwerkkompression für verbesserte OpenVINO™-Inferenz

openvinotoolkit
⭐ 1,221 Python 👤 openvinotoolkit Organization 🕐 Aktualisiert 2026-11-18 📅 Erstellt 2020-05-13
66
gpu-mode/awesomeMLSys

Eine ML-System-Onboarding-Liste

gpu-mode
⭐ 1,154 👤 gpu-mode Organization 🕐 Aktualisiert 2026-02-19 📅 Erstellt 2024-05-06
67
HarryR/z80ai

Z80-μLM ist ein 2-Bit-quantisiertes Sprachmodell, das klein genug ist, um auf einem 8-Bit-Z80-Prozessor ausgeführt zu werden. Trainieren Sie Konversationsmodelle in Python, exportieren Sie diese als CP/M .COM-Binärdateien und chatten Sie mit Ihrem Vintage-Computer.

HarryR
⭐ 1,141 Python 👤 HarryR User 🕐 Aktualisiert 2026-04-29 📅 Erstellt 2025-12-21
68
Xilinx/finn

Dataflow-Compiler für QNN-Inferenz auf FPGAs

Xilinx
⭐ 1,093 Python 👤 Xilinx Organization 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2018-06-29
69
hyperionaidev/smolmaxxing

Die Fähigkeit maximieren, verschiedene LLMs auf möglichst kleinen Geräten auszuführen

hyperionaidev
⭐ 1,079 C 👤 hyperionaidev Organization 🕐 Aktualisiert 2026-11-19 📅 Erstellt 2026-11-04
70
huggingface/optimum-quanto

Ein PyTorch-Quantisierungs-Backend für Optimum

huggingface
⭐ 1,055 Python 👤 huggingface Organization 🕐 Aktualisiert 2026-11-17 📅 Erstellt 2023-09-19
71
darrencxl0301/StageRAG

Ein Bauplan für die Erstellung von produktionsfertigen RAG-Systemen, die Halluzinationen minimieren und umschaltbare 3-stufige (Geschwindigkeit) und 4-stufige (Präzision) Pipelines bieten.

darrencxl0301
⭐ 1,036 Python 👤 darrencxl0301 User 🕐 Aktualisiert 2025-10-13 📅 Erstellt 2025-10-01
72
MAC-AutoML/MindPipe

Ein leistungsstarkes Framework zur Modellkompression für LLMs und LVLMs, angepasst für NVIDIA GPUs und Huawei Ascend NPUs.

MAC-AutoML
⭐ 1,013 Python 👤 MAC-AutoML Organization 🕐 Aktualisiert 2026-08-11 📅 Erstellt 2026-01-22
73
PINTO0309/onnx2tf

Ein Tool zur Konvertierung von ONNX-Dateien in LiteRT/TFLite/TensorFlow, PyTorch-Nativer Code (nn.Module), TorchScript (.pt), state_dict (.pt), Exported Program (.pt2) und Dynamo ONNX. Es unterstützt auch die direkte Konvertierung von LiteRT zu PyTorch.

PINTO0309
⭐ 1,004 Python 👤 PINTO0309 User 🕐 Aktualisiert 2026-09-14 📅 Erstellt 2022-09-27
74
IST-DASLab/marlin

Ein FP16xINT4 LLM-Inferenzkernel, der nahezu ideale Geschwindigkeitssteigerungen von etwa 4x bei Batchgrößen bis zu 16-32 Tokens erzielen kann.

IST-DASLab
⭐ 973 Python 👤 IST-DASLab Organization 🕐 Aktualisiert 2024-09-04 📅 Erstellt 2024-01-17
75
OpenGVLab/OmniQuant

[ICLR2024 Spotlight] OmniQuant ist eine einfache und leistungsstarke Quantisierungstechnik für LLMs.

OpenGVLab
⭐ 970 Python 👤 OpenGVLab Organization 🕐 Aktualisiert 2025-11-26 📅 Erstellt 2023-08-22
76
dropbox/hqq

Offizielle Implementierung der Half-Quadratic Quantization (HQQ)

dropbox
⭐ 963 Python 👤 dropbox Organization 🕐 Aktualisiert 2026-02-26 📅 Erstellt 2023-11-07
77
ImageOptim/libimagequant

Palette-Quantisierungs-Bibliothek, die pngquant und andere PNG-Optimierer antreibt

ImageOptim
⭐ 940 Rust 👤 ImageOptim Organization 🕐 Aktualisiert 2026-06-21 📅 Erstellt 2016-11-03
78
mit-han-lab/TinyChatEngine

TinyChatEngine: On-Device LLM Inferenzbibliothek

mit-han-lab
⭐ 934 C++ 👤 mit-han-lab Organization 🕐 Aktualisiert 2024-07-04 📅 Erstellt 2023-05-24
79
facebookresearch/mobile-vision

Mobile Vision-Modelle und Code

facebookresearch
⭐ 923 Python 👤 facebookresearch Organization 🕐 Aktualisiert 2026-10-21 📅 Erstellt 2019-01-09
80
mit-han-lab/tinyengine

[NeurIPS 2020] MCUNet: Tiny Deep Learning auf IoT-Geräten; [NeurIPS 2021] MCUNetV2: Speicher­effiziente Patch-basierte Inferenz für Tiny Deep Learning; [NeurIPS 2022] MCUNetV3: On-Device Training unter 256KB Speicher

mit-han-lab
⭐ 916 C 👤 mit-han-lab Organization 🕐 Aktualisiert 2024-11-27 📅 Erstellt 2022-08-24
81
amd/RyzenAI-SW

Die AMD Ryzen™ AI Software beinhaltet die Tools und Laufzeitbibliotheken für die Optimierung und Bereitstellung von KI-Inferenz auf AMD Ryzen™ AI-fähigen PCs.

amd
⭐ 902 Python 👤 amd Organization 🕐 Aktualisiert 2026-11-18 📅 Erstellt 2023-05-12
82
whitecircle/halo

Halo ist ein von White Circle entwickeltes Open-Source-Framework zum Trainieren großer Sprachmodelle und multimodaler Modelle

whitecircle
⭐ 868 Python 👤 whitecircle Organization 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2026-08-26
83
IST-DASLab/sparsegpt

Code für die ICML 2023-Arbeit „SparseGPT: Massive Sprachmodelle können in One-Shot präzise trainiert werden“.

IST-DASLab
⭐ 859 Python 👤 IST-DASLab Organization 🕐 Aktualisiert 2024-08-20 📅 Erstellt 2023-03-20
84
mit-han-lab/omniserve

[MLSys'25] QServe: W4A8KV4 Quantisierung und System-Co-Design für effizientes LLM-Serving; [MLSys'25] LServe: Effizientes LLM-Serving für lange Sequenzen mit vereinheitlichter spärlicher Aufmerksamkeit

mit-han-lab
⭐ 840 C++ 👤 mit-han-lab Organization 🕐 Aktualisiert 2025-03-06 📅 Erstellt 2024-05-06
85
warpfront/hipfire

RDNA-nativer LLM-Inferenzmotor in Rust.

warpfront
⭐ 826 Rust 👤 warpfront Organization 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2026-03-21
86
Zhen-Dong/Awesome-Quantization-Papers

Liste von Arbeiten zur neuronalen Netzwerkquantisierung in den neuesten KI-Konferenzen und Fachzeitschriften.

Zhen-Dong
⭐ 825 👤 Zhen-Dong User 🕐 Aktualisiert 2025-03-27 📅 Erstellt 2022-01-01
87
datawhalechina/llm-algo-leetcode

LLM-Algorithmen und -Systeme praxisnah mit PyTorch, Triton und CUDA. „Tutorial zu LLM-Algorithmen und -Systemen“: Modellarchitekturen und Training, Post-Training, Inferenzbeschleunigung, Leistungs- und Operatoroptimierung – inklusive Notebook-Übungen, Antworterklärungen, Tests und Experimenten.

datawhalechina
⭐ 811 Jupyter Notebook 👤 datawhalechina Organization 🕐 Aktualisiert 2026-11-16 📅 Erstellt 2026-04-01
88
huggingface/ratchet

Ein plattformübergreifendes Browser-ML-Framework.

huggingface
⭐ 771 Rust 👤 huggingface Organization 🕐 Aktualisiert 2026-09-24 📅 Erstellt 2024-01-11
89
ModelTC/LightCompress

[EMNLP 2024 & AAAI 2026] Ein leistungsstarkes Toolkit zum Komprimieren großer Modelle, einschließlich LLMs, VLMs und Video-Generierungsmodellen.

ModelTC
⭐ 755 Python 👤 ModelTC Organization 🕐 Aktualisiert 2026-05-14 📅 Erstellt 2024-03-06
90
prabanta-dev/janas

37 tok/s mit Qwen3-Next-80B (48 GB) auf einem 32-GB-Laptop; 24 ohne Drafts gegenüber 2,8 mit llama.cpp; beim Lesen 62 gegenüber 16 tok/s. Schneller als llama.cpp bei allen 13 Modellen, die in Q4_K_M verglichen wurden. LLMs, die größer sind als dein RAM – pures C, für CPU oder GPU.

prabanta-dev
⭐ 738 C 👤 prabanta-dev Organization 🕐 Aktualisiert 2026-11-20 📅 Erstellt 2026-09-20
91
hailo-ai/hailo_model_zoo

Der Hailo Model Zoo umfasst vortrainierte Modelle und eine vollständige Umgebungen für Erstellung und Evaluierung

hailo-ai
⭐ 725 Python 👤 hailo-ai Organization 🕐 Aktualisiert 2026-11-15 📅 Erstellt 2021-07-13
92
SqueezeAILab/SqueezeLLM

[ICML 2024] SqueezeLLM: Dichte und spärliche Quantisierung

SqueezeAILab
⭐ 710 Python 👤 SqueezeAILab Organization 🕐 Aktualisiert 2024-08-13 📅 Erstellt 2023-06-12
94
wanshuiyin/ARIS-in-AI-Offer

Bilinguale (Chinesisch + Englisch) Spickzettel für Vorstellungsgespräche zu ML / LLM / Diffusion / Agenten im herbstlichen KI-Recruiting — erstellt mit ARIS /interview-cheatsheet und von /render-html als überall lesbare einteilige HTML-Dateien gerendert — außerdem ein anhand von CV→DBLP faktengeprüfter Generator für akademische Homepages sowie selbst verfasste Langform-Blogs 🌱

wanshuiyin
⭐ 661 Python 👤 wanshuiyin User 🕐 Aktualisiert 2026-11-18 📅 Erstellt 2026-05-19
95
huawei-csl/SINQ

Willkommen im offiziellen Repository von SINQ! Eine neuartige, schnelle und hochwertige Quantisierungsmethode, die jedes Large Language Model verkleinert, während die Genauigkeit erhalten bleibt [ICML 2026]

huawei-csl
⭐ 638 Python 👤 huawei-csl Organization 🕐 Aktualisiert 2026-05-08 📅 Erstellt 2025-09-26
96
ServiceStack/llms

LLM-Client, Server-API und UI

ServiceStack
⭐ 631 JavaScript 👤 ServiceStack Organization 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2025-09-23
97
hahnyuan/LLM-Viewer

Analysieren Sie die Inferenz von Large Language Models (LLMs). Analysieren Sie Aspekte wie Berechnung, Speicher, Übertragung und das Hardware-Roofline-Modell in einer benutzerfreundlichen Oberfläche.

hahnyuan
⭐ 600 Python 👤 hahnyuan User 🕐 Aktualisiert 2024-09-11 📅 Erstellt 2024-01-07
98
google/qkeras

QKeras: Eine Quantisierungs-Deep-Learning-Bibliothek für TensorFlow Keras

google
⭐ 583 Python 👤 google Organization 🕐 Aktualisiert 2026-02-23 📅 Erstellt 2019-08-06
99
MPolaris/onnx2tflite

Tool für onnx->keras oder onnx->tflite. Ich hoffe, dieses Tool kann Ihnen helfen.

MPolaris
⭐ 577 Python 👤 MPolaris User 🕐 Aktualisiert 2026-06-21 📅 Erstellt 2022-04-11
100
csyhhu/Awesome-Deep-Neural-Network-Compression

Zusammenfassung, Code für Deep Neural Network Quantization

csyhhu
⭐ 562 Python 👤 csyhhu User 🕐 Aktualisiert 2026-09-01 📅 Erstellt 2019-02-28