Git Stars Git Stars

#quantization Repositories

Entdecke 109 aktive Open-Source-GitHub-Repositories, die mit #quantization getaggt sind und insgesamt 487,465 Sterne gesammelt haben (durchschnittlich 4,472 Sterne pro Projekt). Spitzenreiter in diesem Themenbereich ist hiyouga/LlamaFactory mit 76,171 Sternen.

109
Gesamtzahl der Repositories
487,465
Gesamtanzahl der Sterne
4,472
Durchschnittliche Sterne/Repo

Insgesamt 109 Repositories

1
hiyouga/LlamaFactory

Vereinheitlichte effiziente Feinabstimmung von über 100 LLMs & VLMs (ACL 2024)

hiyouga
⭐ 76,171 Python 👤 hiyouga User 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2023-05-28
2
xai-org/grok-1

Grok Open Release

xai-org
⭐ 50,567 Python 👤 xai-org Organization 🕐 Aktualisiert 2024-08-30 📅 Erstellt 2024-03-17
3
microsoft/BitNet

Offizielles Inferenz-Framework für 1-Bit-LLMs

microsoft
⭐ 42,358 C++ 👤 microsoft Organization 🕐 Aktualisiert 2026-07-27 📅 Erstellt 2024-08-05
4
SYSTRAN/faster-whisper

Schnellere Whisper-Transkription mit CTranslate2

SYSTRAN
⭐ 26,924 Python 👤 SYSTRAN Organization 🕐 Aktualisiert 2026-11-12 📅 Erstellt 2023-02-11
5
kvcache-ai/ktransformers

Ein flexibles Framework zum Erleben heterogener LLM-Inferenz-/Fine-Tune-Optimierungen

kvcache-ai
⭐ 19,687 Python 👤 kvcache-ai Organization 🕐 Aktualisiert 2026-11-13 📅 Erstellt 2024-07-26
6
ymcui/Chinese-LLaMA-Alpaca

Chinesische LLaMA & Alpaca Große Sprachmodelle + Lokales CPU/GPU Training und Bereitstellung (Chinese LLaMA & Alpaca LLMs)

ymcui
⭐ 18,915 Python 👤 ymcui User 🕐 Aktualisiert 2026-04-19 📅 Erstellt 2023-03-15
7
UFund-Me/Qbot

[🔥Aktualisierung ...] KI-gestützter automatischer quantitativer Handelsroboter (vollständig lokal bereitgestellt) KI-gestütztes quantitatives Investment Research Platform. 📃 Online-Dokumentation: https://ufund-me.github.io/Qbot ✨ :news: qbot-mini: https://github.com/Charmve/iQuant

UFund-Me
⭐ 18,849 Jupyter Notebook 👤 UFund-Me Organization 🕐 Aktualisiert 2026-03-11 📅 Erstellt 2022-11-23
8
RyanCodrai/turbovec

Ein Vektorindex, aufgebaut auf TurboQuant, geschrieben in Rust mit Python-Bindings

RyanCodrai
⭐ 17,505 Rust 👤 RyanCodrai User 🕐 Aktualisiert 2026-10-07 📅 Erstellt 2026-03-26
9
FareedKhan-dev/kimi-k3-in-c

Ein Kimi K3-Modell mit 2,78 Billionen Parametern, das Inferenz auf einer einzelnen CPU mit 8,24 GB RAM ausführt. Portables C99: kein BLAS, kein Framework, keine GPU.

FareedKhan-dev
⭐ 12,523 C 👤 FareedKhan-dev User 🕐 Aktualisiert 2026-11-16 📅 Erstellt 2026-08-01
10
artidoro/qlora

QLoRA: Effizientes Finetuning von quantisierten LLMs

artidoro
⭐ 10,804 Jupyter Notebook 👤 artidoro User 🕐 Aktualisiert 2024-06-10 📅 Erstellt 2023-05-11
11
bitsandbytes-foundation/bitsandbytes

Zugängliche große Sprachmodelle über k-Bit-Quantisierung für PyTorch.

bitsandbytes-foundation
⭐ 8,548 Python 👤 bitsandbytes-foundation Organization 🕐 Aktualisiert 2026-11-02 📅 Erstellt 2021-06-04
12
gpu-mode/lectures

Material für gpu-modus-vorträge

gpu-mode
⭐ 7,109 Jupyter Notebook 👤 gpu-mode Organization 🕐 Aktualisiert 2026-09-09 📅 Erstellt 2024-01-20
13
meta-pytorch/gpt-fast

Einfache und effiziente PyTorch-native Transformer-Textgenerierung in <1000 LOC Python.

meta-pytorch
⭐ 6,244 Python 👤 meta-pytorch Organization 🕐 Aktualisiert 2025-08-22 📅 Erstellt 2023-10-17
14
Lightning-AI/lit-llama

Implementierung des LLaMA-Sprachmodells basierend auf nanoGPT. Unterstützt Flash-Attention, Int8- und GPTQ-4-Bit-Quantisierung, LoRA- und LLaMA-Adapter-Feinabstimmung, Vortraining. Unter der Apache-2.0-Lizenz.

Lightning-AI
⭐ 6,084 Python 👤 Lightning-AI Organization 🕐 Aktualisiert 2025-07-01 📅 Erstellt 2023-03-22
15
kornelski/pngquant

Lossy PNG-Kompressor — pngquant-Befehl basierend auf der libimagequant-Bibliothek

kornelski
⭐ 5,773 C 👤 kornelski User 🕐 Aktualisiert 2026-10-27 📅 Erstellt 2009-09-17
16
ztxz16/fastllm

fastllm ist eine hochperformante Inferenzbibliothek für große Sprachmodelle, die keine Backend-Abhängigkeiten hat und Ihnen hilft, Inferenz auf den meisten Geräten effizient auszuführen.

ztxz16
⭐ 5,133 C++ 👤 ztxz16 User 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2023-05-13
17
OpenNMT/CTranslate2

Schneller Inferenz-Engine für Transformer-Modelle

OpenNMT
⭐ 4,758 C++ 👤 OpenNMT Organization 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2019-09-23
18
turboderp-org/exllamav2

Eine schnelle Inferenzbibliothek zum Ausführen von LLMs lokal auf modernen Consumer-GPUs

turboderp-org
⭐ 4,653 Python 👤 turboderp-org Organization 🕐 Aktualisiert 2026-03-04 📅 Erstellt 2023-08-30
19
CalvinXKY/InfraTech

Teilen von AI-Infrastrukturwissen und Code-Praxis: PyTorch, vLLM/SGLang, Einführung in das slime/vime-Framework ⚡️, Leistungsbeschleunigung 🚀, Grundlagen großer Modelle 🧠, KI-Software und -Hardware 🔧 usw.

CalvinXKY
⭐ 4,411 Jupyter Notebook 👤 CalvinXKY User 🕐 Aktualisiert 2026-09-20 📅 Erstellt 2025-11-14
20
thu-ml/SageAttention

[ICLR2025, ICML2025, NeurIPS2025 Spotlight] Quantized Attention erzielt eine Beschleunigung um das 2- bis 5-fache im Vergleich zu FlashAttention, ohne die End-to-End-Metriken bei Sprach-, Bild- und Videomodellen zu verschlechtern.

thu-ml
⭐ 4,017 Cuda 👤 thu-ml Organization 🕐 Aktualisiert 2026-01-17 📅 Erstellt 2024-10-03
21
vllm-project/llm-compressor

Modernste LLM-Komprimierung, entwickelt für die Inferenz in Produktionsumgebungen mit vLLM

vllm-project
⭐ 3,981 Python 👤 vllm-project Organization 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2024-06-20
22
nunchux-ai/nunchaku

[ICLR2025 Spotlight] SVDQuant: Übernahme von Ausreißern durch niedrigrangige Komponenten für 4-Bit-Diffusionsmodelle

nunchux-ai
⭐ 3,969 Python 👤 nunchux-ai Organization 🕐 Aktualisiert 2026-09-06 📅 Erstellt 2024-11-06
23
NVlabs/VILA

VILA ist eine Familie hochmoderner Vision-Language-Models (VLMs) für vielfältige multimodale KI-Aufgaben im Edge-, Rechenzentrums- und Cloud-Bereich.

NVlabs
⭐ 3,873 Python 👤 NVlabs Organization 🕐 Aktualisiert 2026-03-12 📅 Erstellt 2024-02-23
24
amitshekhariitbhu/ai-engineering-interview-questions

Ihr Cheat Sheet für das AI Engineering Interview – Fragen und Antworten.

amitshekhariitbhu
⭐ 3,707 Markdown 👤 amitshekhariitbhu User 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2026-03-21
25
mit-han-lab/llm-awq

[MLSys 2024 Best Paper Award] AWQ: Aktivierungsabhängige Gewichtungsquantisierung für LLM-Kompression und -Beschleunigung

mit-han-lab
⭐ 3,590 Python 👤 mit-han-lab Organization 🕐 Aktualisiert 2025-07-17 📅 Erstellt 2023-06-01
26
huggingface/optimum

Beschleunigen Sie Inferenz und Training von 🤗 Transformers, Diffusers, TIMM und Sentence Transformers mit einfach zu bedienenden Hardware-Optimierungswerkzeugen

huggingface
⭐ 3,525 Python 👤 huggingface Organization 🕐 Aktualisiert 2026-11-16 📅 Erstellt 2021-07-20
27
ikawrakow/ik_llama.cpp

llama.cpp Fork mit zusätzlichen SOTA Quants und verbesserter Leistung

ikawrakow
⭐ 3,411 C++ 👤 ikawrakow User 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2024-06-27
28
huawei-noah/Pretrained-Language-Model

Vortrainiertes Sprachmodell und zugehörige Optimierungstechniken, entwickelt von Huawei Noah's Ark Lab.

huawei-noah
⭐ 3,152 Python 👤 huawei-noah Organization 🕐 Aktualisiert 2024-01-22 📅 Erstellt 2019-12-02
29
mw00/project-maya

Führen Sie GLM-5.3 (744B), DeepSeek-V4.1-Flash (748B), MiniMax-M3.1-Flash (428B), GLM-5.3-Flash (321B) und Hy4-Flash (220B) auf Ihren eigenen GPUs aus – ab 8 GB VRAM, mit Unterstützung für NVIDIA und AMD, einem einzigen Dashboard sowie einer mit OpenAI und Anthropic kompatiblen API.

mw00
⭐ 3,140 C++ 👤 mw00 User 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2026-10-06
30
pytorch/ao

PyTorch native Quantisierung für Training und Inferenz

pytorch
⭐ 3,032 Python 👤 pytorch Organization 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2023-11-03
31
nunchux-ai/ComfyUI-nunchaku

ComfyUI-Plugin von Nunchaku

nunchux-ai
⭐ 2,934 Python 👤 nunchux-ai Organization 🕐 Aktualisiert 2026-09-06 📅 Erstellt 2025-03-12
32
black-forest-labs/flux2

Offizielles Inferenz-Repository für FLUX.2 Modelle

black-forest-labs
⭐ 2,886 Python 👤 black-forest-labs Organization 🕐 Aktualisiert 2026-03-12 📅 Erstellt 2025-11-24
33
syv-ai/HyperQwen

Führe große Qwen-Modelle schnell auf den GPUs aus, die du tatsächlich besitzt. Qwen3.8-27B auf einer einzelnen 24-GB-Karte mit vLLM: 127 Tok/s bei einem einzelnen Nutzer (381, wenn die Antwort den Prompt zitiert), etwa 1.035 Tok/s bei 64 gleichzeitigen Anfragen und ein Kontext von 150k–262k. vLLM-Patches, Requantisierungs-Pipeline und Benchmarks.

syv-ai
⭐ 2,778 Python 👤 syv-ai Organization 🕐 Aktualisiert 2026-11-10 📅 Erstellt 2026-08-15
34
qualcomm/aimet

AIMET ist eine Bibliothek, die fortschrittliche Quantisierungs- und Komprimierungstechniken für trainierte neuronale Netzwerkmodelle bereitstellt.

qualcomm
⭐ 2,748 Python 👤 qualcomm Organization 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2020-04-21
35
intel/neural-compressor

SOTA Low-Bit-LLM-Quantisierung (INT8/FP8/MXFP8/INT4/MXFP4/NVFP4) und Sparsity; führende Modellkomprimierungstechniken auf PyTorch, TensorFlow und ONNX Runtime

intel
⭐ 2,733 Python 👤 intel Organization 🕐 Aktualisiert 2026-11-20 📅 Erstellt 2020-07-21
36
stochasticai/xTuring

Erstellen, personalisieren und steuern Sie Ihre eigenen LLMs. Von der Datenvorverarbeitung bis zum Fine-Tuning bietet xTuring eine einfache Möglichkeit, Open-Source-LLMs zu personalisieren. Treten Sie unserer Discord-Community bei: https://discord.gg/TgHXuSJEk6

stochasticai
⭐ 2,680 Python 👤 stochasticai Organization 🕐 Aktualisiert 2026-11-05 📅 Erstellt 2023-03-19
37
adithya-s-k/AI-Engineering.academy

Angewandte KI meistern, ein Konzept nach dem anderen

adithya-s-k
⭐ 2,388 Jupyter Notebook 👤 adithya-s-k User 🕐 Aktualisiert 2026-02-27 📅 Erstellt 2023-10-05
38
dvmazur/mixtral-offloading

Führen Sie Mixtral-8x7B-Modelle in Colab oder auf Consumer-Desktops aus

dvmazur
⭐ 2,327 Python 👤 dvmazur User 🕐 Aktualisiert 2024-04-08 📅 Erstellt 2023-12-15
39
aixcoder-plugin/aiXcoder-7B

offizielles Repository des aiXcoder-7B Code Large Language Model

aixcoder-plugin
⭐ 2,273 Python 👤 aixcoder-plugin Organization 🕐 Aktualisiert 2025-07-09 📅 Erstellt 2024-03-30
40
666DZY666/micronet

micronet, eine Bibliothek für Modellkompression und Deployment. Kompression: 1、Quantisierung: Quantisierungs-bewusstes Training(QAT), High-Bit(>2b)(DoReFa/Quantization and Training of Neural Networks for Efficient Integer-Arithmetic-Only Inference)、Low-Bit(≤2b)/Ternary and Binary(TWN/BNN/XNOR-Net); Post-Training-Quantisierung(PTQ), 8-Bit(tensorrt); 2、Pruning: normal、regular and group convolutional channel pruning; 3、Gruppenkonvolutionsstruktur; 4、Batch-Normalisierungs-Fusion für Quantisierung. Deployment: tensorrt, fp32/fp16/in

666DZY666
⭐ 2,270 Python 👤 666DZY666 User 🕐 Aktualisiert 2025-05-06 📅 Erstellt 2019-12-04
41
IST-DASLab/gptq

Code für das ICLR 2023-Paper "GPTQ: Accurate Post-training Quantization of Generative Pretrained Transformers".

IST-DASLab
⭐ 2,241 Python 👤 IST-DASLab Organization 🕐 Aktualisiert 2024-03-27 📅 Erstellt 2022-10-19
42
RightNow-AI/picolm

Führe ein LLM mit 1 Milliarde Parametern auf einem $10-Board mit 256 MB RAM aus.

RightNow-AI
⭐ 2,218 C 👤 RightNow-AI Organization 🕐 Aktualisiert 2026-02-22 📅 Erstellt 2026-02-19
43
bigcode-project/starcoder2

Heimat von StarCoder2!

bigcode-project
⭐ 2,018 Python 👤 bigcode-project Organization 🕐 Aktualisiert 2024-03-21 📅 Erstellt 2023-12-08
44
intel/intel-extension-for-pytorch

Ein Python-Paket zur Erweiterung des offiziellen PyTorch, das auf der Intel-Plattform einfach Leistung erzielen kann

intel
⭐ 2,012 Python 👤 intel Organization 🕐 Aktualisiert 2026-03-13 📅 Erstellt 2020-04-15
45
turboderp-org/exllamav3

Eine optimierte Quantisierungs- und Inferenzbibliothek für die lokale Ausführung von LLMs auf modernen Consumer-GPUs

turboderp-org
⭐ 1,853 Python 👤 turboderp-org Organization 🕐 Aktualisiert 2026-11-19 📅 Erstellt 2025-04-06
46
Tencent/AngelSlim

Modellkomprimierungs-Toolkit, entwickelt für verbesserte Benutzerfreundlichkeit, Umfassendheit und Effizienz.

Tencent
⭐ 1,811 Python 👤 Tencent Organization 🕐 Aktualisiert 2026-11-20 📅 Erstellt 2025-07-04
47
OpenPPL/ppq

Das PPL Quantization Tool (PPQ) ist ein leistungsstarkes Offline-Tool zur Quantisierung neuronaler Netze.

OpenPPL
⭐ 1,774 Python 👤 OpenPPL Organization 🕐 Aktualisiert 2024-03-28 📅 Erstellt 2021-12-30
48
Anemll/Anemll

Artificial Neural Engine Machine Learning Library

Anemll
⭐ 1,710 Python 👤 Anemll User 🕐 Aktualisiert 2026-10-31 📅 Erstellt 2025-01-06
49
intel/auto-round

Effizienz der Post-Training-Quantisierung, Genauigkeit der quantisierungsbewussten Trainingsmethode

intel
⭐ 1,706 Python 👤 intel Organization 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2024-01-04
50
microsoft/onnxruntime-inference-examples

Beispiele für die Verwendung von ONNX Runtime für maschinelles Lernen Inferenz.

microsoft
⭐ 1,703 C++ 👤 microsoft Organization 🕐 Aktualisiert 2026-11-10 📅 Erstellt 2021-04-09

Häufig gestellte Fragen

1

Welches ist das beliebteste #quantization-Repository auf GitHub?

Das am höchsten eingestufte Open-Source-#quantization-Projekt auf GitHub ist hiyouga/LlamaFactory mit 76,171 Sternen. Vereinheitlichte effiziente Feinabstimmung von über 100 LLMs & VLMs (ACL 2024)

2

Welche Programmiersprachen werden in #quantization-Repositories am häufigsten verwendet?

Unter den am höchsten eingestuften #quantization-Projekten auf GitHub sind Python, C++, Jupyter Notebook, C die am häufigsten verwendeten Programmiersprachen.

3

Wie wird das Ranking der #quantization-Repositories berechnet?

Wir verfolgen 109 aktive Open-Source-Repositories, die mit #quantization getaggt sind (500+ Sterne), mit insgesamt 487,465 Sternen und durchschnittlich 4,472 Sternen pro Repository. Die Rankings werden täglich über die GitHub-API aktualisiert.