#quantization Repositories
Entdecke 109 aktive Open-Source-GitHub-Repositories, die mit #quantization getaggt sind und insgesamt 487,465 Sterne gesammelt haben (durchschnittlich 4,472 Sterne pro Projekt). Spitzenreiter in diesem Themenbereich ist hiyouga/LlamaFactory mit 76,171 Sternen.
Insgesamt 109 Repositories
Vereinheitlichte effiziente Feinabstimmung von über 100 LLMs & VLMs (ACL 2024)
Ein flexibles Framework zum Erleben heterogener LLM-Inferenz-/Fine-Tune-Optimierungen
Chinesische LLaMA & Alpaca Große Sprachmodelle + Lokales CPU/GPU Training und Bereitstellung (Chinese LLaMA & Alpaca LLMs)
[🔥Aktualisierung ...] KI-gestützter automatischer quantitativer Handelsroboter (vollständig lokal bereitgestellt) KI-gestütztes quantitatives Investment Research Platform. 📃 Online-Dokumentation: https://ufund-me.github.io/Qbot ✨ :news: qbot-mini: https://github.com/Charmve/iQuant
Ein Vektorindex, aufgebaut auf TurboQuant, geschrieben in Rust mit Python-Bindings
Ein Kimi K3-Modell mit 2,78 Billionen Parametern, das Inferenz auf einer einzelnen CPU mit 8,24 GB RAM ausführt. Portables C99: kein BLAS, kein Framework, keine GPU.
Zugängliche große Sprachmodelle über k-Bit-Quantisierung für PyTorch.
Einfache und effiziente PyTorch-native Transformer-Textgenerierung in <1000 LOC Python.
Implementierung des LLaMA-Sprachmodells basierend auf nanoGPT. Unterstützt Flash-Attention, Int8- und GPTQ-4-Bit-Quantisierung, LoRA- und LLaMA-Adapter-Feinabstimmung, Vortraining. Unter der Apache-2.0-Lizenz.
Lossy PNG-Kompressor — pngquant-Befehl basierend auf der libimagequant-Bibliothek
fastllm ist eine hochperformante Inferenzbibliothek für große Sprachmodelle, die keine Backend-Abhängigkeiten hat und Ihnen hilft, Inferenz auf den meisten Geräten effizient auszuführen.
Eine schnelle Inferenzbibliothek zum Ausführen von LLMs lokal auf modernen Consumer-GPUs
Teilen von AI-Infrastrukturwissen und Code-Praxis: PyTorch, vLLM/SGLang, Einführung in das slime/vime-Framework ⚡️, Leistungsbeschleunigung 🚀, Grundlagen großer Modelle 🧠, KI-Software und -Hardware 🔧 usw.
[ICLR2025, ICML2025, NeurIPS2025 Spotlight] Quantized Attention erzielt eine Beschleunigung um das 2- bis 5-fache im Vergleich zu FlashAttention, ohne die End-to-End-Metriken bei Sprach-, Bild- und Videomodellen zu verschlechtern.
Modernste LLM-Komprimierung, entwickelt für die Inferenz in Produktionsumgebungen mit vLLM
[ICLR2025 Spotlight] SVDQuant: Übernahme von Ausreißern durch niedrigrangige Komponenten für 4-Bit-Diffusionsmodelle
VILA ist eine Familie hochmoderner Vision-Language-Models (VLMs) für vielfältige multimodale KI-Aufgaben im Edge-, Rechenzentrums- und Cloud-Bereich.
Ihr Cheat Sheet für das AI Engineering Interview – Fragen und Antworten.
[MLSys 2024 Best Paper Award] AWQ: Aktivierungsabhängige Gewichtungsquantisierung für LLM-Kompression und -Beschleunigung
Beschleunigen Sie Inferenz und Training von 🤗 Transformers, Diffusers, TIMM und Sentence Transformers mit einfach zu bedienenden Hardware-Optimierungswerkzeugen
Vortrainiertes Sprachmodell und zugehörige Optimierungstechniken, entwickelt von Huawei Noah's Ark Lab.
Führen Sie GLM-5.3 (744B), DeepSeek-V4.1-Flash (748B), MiniMax-M3.1-Flash (428B), GLM-5.3-Flash (321B) und Hy4-Flash (220B) auf Ihren eigenen GPUs aus – ab 8 GB VRAM, mit Unterstützung für NVIDIA und AMD, einem einzigen Dashboard sowie einer mit OpenAI und Anthropic kompatiblen API.
Führe große Qwen-Modelle schnell auf den GPUs aus, die du tatsächlich besitzt. Qwen3.8-27B auf einer einzelnen 24-GB-Karte mit vLLM: 127 Tok/s bei einem einzelnen Nutzer (381, wenn die Antwort den Prompt zitiert), etwa 1.035 Tok/s bei 64 gleichzeitigen Anfragen und ein Kontext von 150k–262k. vLLM-Patches, Requantisierungs-Pipeline und Benchmarks.
AIMET ist eine Bibliothek, die fortschrittliche Quantisierungs- und Komprimierungstechniken für trainierte neuronale Netzwerkmodelle bereitstellt.
SOTA Low-Bit-LLM-Quantisierung (INT8/FP8/MXFP8/INT4/MXFP4/NVFP4) und Sparsity; führende Modellkomprimierungstechniken auf PyTorch, TensorFlow und ONNX Runtime
Erstellen, personalisieren und steuern Sie Ihre eigenen LLMs. Von der Datenvorverarbeitung bis zum Fine-Tuning bietet xTuring eine einfache Möglichkeit, Open-Source-LLMs zu personalisieren. Treten Sie unserer Discord-Community bei: https://discord.gg/TgHXuSJEk6
Führen Sie Mixtral-8x7B-Modelle in Colab oder auf Consumer-Desktops aus
micronet, eine Bibliothek für Modellkompression und Deployment. Kompression: 1、Quantisierung: Quantisierungs-bewusstes Training(QAT), High-Bit(>2b)(DoReFa/Quantization and Training of Neural Networks for Efficient Integer-Arithmetic-Only Inference)、Low-Bit(≤2b)/Ternary and Binary(TWN/BNN/XNOR-Net); Post-Training-Quantisierung(PTQ), 8-Bit(tensorrt); 2、Pruning: normal、regular and group convolutional channel pruning; 3、Gruppenkonvolutionsstruktur; 4、Batch-Normalisierungs-Fusion für Quantisierung. Deployment: tensorrt, fp32/fp16/in
Code für das ICLR 2023-Paper "GPTQ: Accurate Post-training Quantization of Generative Pretrained Transformers".
Führe ein LLM mit 1 Milliarde Parametern auf einem $10-Board mit 256 MB RAM aus.
Ein Python-Paket zur Erweiterung des offiziellen PyTorch, das auf der Intel-Plattform einfach Leistung erzielen kann
Eine optimierte Quantisierungs- und Inferenzbibliothek für die lokale Ausführung von LLMs auf modernen Consumer-GPUs
Modellkomprimierungs-Toolkit, entwickelt für verbesserte Benutzerfreundlichkeit, Umfassendheit und Effizienz.
Das PPL Quantization Tool (PPQ) ist ein leistungsstarkes Offline-Tool zur Quantisierung neuronaler Netze.
Effizienz der Post-Training-Quantisierung, Genauigkeit der quantisierungsbewussten Trainingsmethode
Beispiele für die Verwendung von ONNX Runtime für maschinelles Lernen Inferenz.
Häufig gestellte Fragen
Welches ist das beliebteste #quantization-Repository auf GitHub?
Das am höchsten eingestufte Open-Source-#quantization-Projekt auf GitHub ist hiyouga/LlamaFactory mit 76,171 Sternen. Vereinheitlichte effiziente Feinabstimmung von über 100 LLMs & VLMs (ACL 2024)
Welche Programmiersprachen werden in #quantization-Repositories am häufigsten verwendet?
Unter den am höchsten eingestuften #quantization-Projekten auf GitHub sind Python, C++, Jupyter Notebook, C die am häufigsten verwendeten Programmiersprachen.
Wie wird das Ranking der #quantization-Repositories berechnet?
Wir verfolgen 109 aktive Open-Source-Repositories, die mit #quantization getaggt sind (500+ Sterne), mit insgesamt 487,465 Sternen und durchschnittlich 4,472 Sternen pro Repository. Die Rankings werden täglich über die GitHub-API aktualisiert.