#quantization Repositories
Insgesamt 109 Repositories
PaddleSlim ist eine Open-Source-Bibliothek für die Komprimierung tiefer Modelle und die Architektursuche.
FB (Facebook) + GEMM (Generische Matrix-Matrix-Multiplikation) - https://code.fb.com/ml-applications/fbgemm/
Ein Toolkit zur Optimierung von ML-Modellen für die Bereitstellung bei Keras und TensorFlow, einschließlich Quantisierung und Pruning.
GPU-freie CPU-Inferenz für 30B–284B-MoE-Modelle (Qwen3.8 176.5B mit kaltem Cache in Cgroup v2 bei 28,26/48,35 GiB zertifiziert, DeepSeek-V4 284B, Nemotron-30B) + RouteCrack 2.0.
Berechnen Sie den Token/s- & GPU-Speicherbedarf für jedes LLM. Unterstützt Quantisierung von llama.cpp/ggml/bnb/QLoRA
Erstellen, trainieren, optimieren und betreiben Sie Computer-Vision-Modelle lokal – von Rohbildern bis zur Live-Inferenz. Open Source und für Intel® XPU optimiert (CUDA wird ebenfalls unterstützt).
Toolkit zur Quantisierung (Komprimierung) von LLM-Modellen mit Hardwarebeschleunigung für Nvidia CUDA, AMD ROCm, Intel XPU, Tenstorrent, Huawei-Ascend-NPUs und Intel-/AMD-/Apple-CPUs über HF, vLLM und SGLang.
[ICML2025] SpargeAttention: Ein trainingsfreier spärlicher Aufmerksamkeitsmechanismus, der die Inferenz jedes Modells beschleunigt.
Framework für neuronale Netzwerkkompression für verbesserte OpenVINO™-Inferenz
Z80-μLM ist ein 2-Bit-quantisiertes Sprachmodell, das klein genug ist, um auf einem 8-Bit-Z80-Prozessor ausgeführt zu werden. Trainieren Sie Konversationsmodelle in Python, exportieren Sie diese als CP/M .COM-Binärdateien und chatten Sie mit Ihrem Vintage-Computer.
Die Fähigkeit maximieren, verschiedene LLMs auf möglichst kleinen Geräten auszuführen
Ein Bauplan für die Erstellung von produktionsfertigen RAG-Systemen, die Halluzinationen minimieren und umschaltbare 3-stufige (Geschwindigkeit) und 4-stufige (Präzision) Pipelines bieten.
Ein leistungsstarkes Framework zur Modellkompression für LLMs und LVLMs, angepasst für NVIDIA GPUs und Huawei Ascend NPUs.
Ein Tool zur Konvertierung von ONNX-Dateien in LiteRT/TFLite/TensorFlow, PyTorch-Nativer Code (nn.Module), TorchScript (.pt), state_dict (.pt), Exported Program (.pt2) und Dynamo ONNX. Es unterstützt auch die direkte Konvertierung von LiteRT zu PyTorch.
Ein FP16xINT4 LLM-Inferenzkernel, der nahezu ideale Geschwindigkeitssteigerungen von etwa 4x bei Batchgrößen bis zu 16-32 Tokens erzielen kann.
[ICLR2024 Spotlight] OmniQuant ist eine einfache und leistungsstarke Quantisierungstechnik für LLMs.
Palette-Quantisierungs-Bibliothek, die pngquant und andere PNG-Optimierer antreibt
[NeurIPS 2020] MCUNet: Tiny Deep Learning auf IoT-Geräten; [NeurIPS 2021] MCUNetV2: Speichereffiziente Patch-basierte Inferenz für Tiny Deep Learning; [NeurIPS 2022] MCUNetV3: On-Device Training unter 256KB Speicher
Die AMD Ryzen™ AI Software beinhaltet die Tools und Laufzeitbibliotheken für die Optimierung und Bereitstellung von KI-Inferenz auf AMD Ryzen™ AI-fähigen PCs.
Halo ist ein von White Circle entwickeltes Open-Source-Framework zum Trainieren großer Sprachmodelle und multimodaler Modelle
Code für die ICML 2023-Arbeit „SparseGPT: Massive Sprachmodelle können in One-Shot präzise trainiert werden“.
[MLSys'25] QServe: W4A8KV4 Quantisierung und System-Co-Design für effizientes LLM-Serving; [MLSys'25] LServe: Effizientes LLM-Serving für lange Sequenzen mit vereinheitlichter spärlicher Aufmerksamkeit
Liste von Arbeiten zur neuronalen Netzwerkquantisierung in den neuesten KI-Konferenzen und Fachzeitschriften.
LLM-Algorithmen und -Systeme praxisnah mit PyTorch, Triton und CUDA. „Tutorial zu LLM-Algorithmen und -Systemen“: Modellarchitekturen und Training, Post-Training, Inferenzbeschleunigung, Leistungs- und Operatoroptimierung – inklusive Notebook-Übungen, Antworterklärungen, Tests und Experimenten.
[EMNLP 2024 & AAAI 2026] Ein leistungsstarkes Toolkit zum Komprimieren großer Modelle, einschließlich LLMs, VLMs und Video-Generierungsmodellen.
37 tok/s mit Qwen3-Next-80B (48 GB) auf einem 32-GB-Laptop; 24 ohne Drafts gegenüber 2,8 mit llama.cpp; beim Lesen 62 gegenüber 16 tok/s. Schneller als llama.cpp bei allen 13 Modellen, die in Q4_K_M verglichen wurden. LLMs, die größer sind als dein RAM – pures C, für CPU oder GPU.
Der Hailo Model Zoo umfasst vortrainierte Modelle und eine vollständige Umgebungen für Erstellung und Evaluierung
Bilinguale (Chinesisch + Englisch) Spickzettel für Vorstellungsgespräche zu ML / LLM / Diffusion / Agenten im herbstlichen KI-Recruiting — erstellt mit ARIS /interview-cheatsheet und von /render-html als überall lesbare einteilige HTML-Dateien gerendert — außerdem ein anhand von CV→DBLP faktengeprüfter Generator für akademische Homepages sowie selbst verfasste Langform-Blogs 🌱
Willkommen im offiziellen Repository von SINQ! Eine neuartige, schnelle und hochwertige Quantisierungsmethode, die jedes Large Language Model verkleinert, während die Genauigkeit erhalten bleibt [ICML 2026]
Analysieren Sie die Inferenz von Large Language Models (LLMs). Analysieren Sie Aspekte wie Berechnung, Speicher, Übertragung und das Hardware-Roofline-Modell in einer benutzerfreundlichen Oberfläche.
Tool für onnx->keras oder onnx->tflite. Ich hoffe, dieses Tool kann Ihnen helfen.
Zusammenfassung, Code für Deep Neural Network Quantization