Git Stars Git Stars

#quantization Repositories

109
Gesamtzahl der Repositories
487,465
Gesamtanzahl der Sterne
4,472
Durchschnittliche Sterne/Repo

Insgesamt 109 Repositories

101
StartLuxLabs/StartLux-Prism

Schnelle, exakte Inferenz für StartLux-Decision-Modelle auf NVIDIA-GPUs: Die veröffentlichten GGUF-Dateien laufen über die /v1/systemone-API auf int8- und 4-Bit-Tensor-Kernen und bieten in FP8 eine bis zu 5,3-mal geringere Latenz als vLLM bei bitidentischen Antworten.

StartLuxLabs
⭐ 560 Python 👤 StartLuxLabs Organization 🕐 Aktualisiert 2026-10-27 📅 Erstellt 2026-10-13
102
zengxiao-he/tessera

Vom Lehrer zu Kacheln — eine von Grund auf neu entwickelte LLM-Destillations- und Serving-Engine: benutzerdefinierte Triton/CUDA-Kernel, FSDP-Destillation, kontinuierliches Batching mit paged-KV, spekulative Dekodierung, ein Rust-Gateway, ein JAX-Orakel und Interpretierbarkeitswerkzeuge.

zengxiao-he
⭐ 556 Python 👤 zengxiao-he User 🕐 Aktualisiert 2026-10-09 📅 Erstellt 2026-06-05
103
Indras-Mirror/Xolotl

Xolotl: Führe DeepSeek-V4.1-Flash mit allen 552B Parametern als lokalen Coding-Agent auf einem einzigen Gaming-PC aus (RTX 4090 + 110 GB RAM): ca. 33 Tok/s im Agentenmodus, ca. 41 im Schnellmodus, 512K Kontext. Dazu Inkling-2-Mini (Thinking Machines, eigene Engine + MTP-Entwurfsmodul), GLM-5.3-Flash, Qwen3.8 und LFM3-Omni. MoE-Experten werden stufenweise über VRAM, RAM und NVMe verteilt (Xolotl Direct). OpenAI- und Anthropic-API.

Indras-Mirror
⭐ 549 C++ 👤 Indras-Mirror User 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2026-10-06
104
cedrickchee/awesome-ml-model-compression

Beeindruckende Forschungspapiere zur Komprimierung von Machine-Learning-Modellen, Quantisierung, Tools und Lernmaterialien.

cedrickchee
⭐ 540 👤 cedrickchee User 🕐 Aktualisiert 2024-09-21 📅 Erstellt 2018-12-06
105
NVlabs/qerl

[ICLR 2026] QeRL ermöglicht RL für 32B LLMs auf einer einzelnen H100 GPU.

NVlabs
⭐ 527 Python 👤 NVlabs Organization 🕐 Aktualisiert 2026-11-16 📅 Erstellt 2025-09-22
106
slavabarkov/tidy

Offline-semantische Text-zu-Bild- und Bild-zu-Bild-Suche auf Android, angetrieben durch ein quantisiertes, hochmodernes, vortrainiertes CLIP-Modell und die ONNX Runtime-Inferenz-Engine

slavabarkov
⭐ 525 Kotlin 👤 slavabarkov User 🕐 Aktualisiert 2024-03-28 📅 Erstellt 2023-02-24
107
huawei-csl/KVarN

KVarN ist ein natives vLLM-Backend zur Quantisierung des KV-Caches für Ihre Agenten: 3–5× mehr Kontext, ein höherer Durchsatz als bei FP16 und eine Genauigkeit auf FP16-Niveau. Keine Kalibrierung, nur ein Flag.

huawei-csl
⭐ 521 Python 👤 huawei-csl Organization 🕐 Aktualisiert 2026-06-22 📅 Erstellt 2026-05-29
108
turboderp-org/exui

Web-UI für ExLlamaV2

turboderp-org
⭐ 513 JavaScript 👤 turboderp-org Organization 🕐 Aktualisiert 2025-02-05 📅 Erstellt 2023-10-29
109
AEON-7/Qwen3.6-27B-AEON-Ultimate-Uncensored-DFlash

Vollständig unzensierte, fähigkeitserweiterte Ablation von Qwen3.6-27B. NVFP4 + z-lab DFlash Speculative Decoding (n=12) im einheitlichen Container ghcr.io/aeon-7/aeon-vllm-ultimate:latest, optimiert für die Akzeptanz von Entwürfen bei langen Kontexten auf DGX Spark. 6 HF-Varianten (BF16/NVFP4/MTP/MTP-XS), docker-compose und QuickStart.

AEON-7
⭐ 501 Python 👤 AEON-7 User 🕐 Aktualisiert 2026-11-13 📅 Erstellt 2026-04-25