Git Stars Git Stars

#quantization Repository

109
Totale Repository
487,465
Totale stelle
4,472
Media Stelle/Repo
Linguaggi di programmazione: Python C++ Kotlin JavaScript

109 repository in totale

101
StartLuxLabs/StartLux-Prism

Inferenza rapida e precisa per i modelli StartLux-Decision su GPU NVIDIA: i file GGUF rilasciati vengono eseguiti su tensor core int8 e a 4 bit tramite l’API /v1/systemone, con una latenza fino a 5,3 volte inferiore rispetto a vLLM in FP8 e risposte identiche bit per bit.

StartLuxLabs
⭐ 560 Python 👤 StartLuxLabs Organization 🕐 Aggiornato 2026-10-27 📅 Creato 2026-10-13
102
zengxiao-he/tessera

Da insegnante a tessere — un motore di distillazione e servizio LLM costruito da zero: kernel Triton/CUDA personalizzati, distillazione FSDP, elaborazione batch continua con KV paginato, decodifica speculativa, un gateway Rust, un oracolo JAX e strumenti di interpretabilità.

zengxiao-he
⭐ 556 Python 👤 zengxiao-he User 🕐 Aggiornato 2026-10-09 📅 Creato 2026-06-05
103
Indras-Mirror/Xolotl

Xolotl: esegui DeepSeek-V4.1-Flash, con tutti i 552B parametri, come agente di programmazione locale su un singolo PC da gaming (RTX 4090 + 110 GB di RAM): ~33 tok/s come agente, ~41 in modalità veloce, contesto da 512K. Inoltre, Inkling-2-Mini (Thinking Machines, motore proprietario + generatore di bozze MTP), GLM-5.3-Flash, Qwen3.8 e LFM3-Omni. Esperti MoE organizzati a livelli tra VRAM, RAM e NVMe (Xolotl Direct). API OpenAI + Anthropic.

Indras-Mirror
⭐ 549 C++ 👤 Indras-Mirror User 🕐 Aggiornato 2026-11-21 📅 Creato 2026-10-06
104
cedrickchee/awesome-ml-model-compression

Meravigliosi articoli di ricerca sulla compressione di modelli di machine learning, quantizzazione, strumenti e materiali di apprendimento.

cedrickchee
⭐ 540 👤 cedrickchee User 🕐 Aggiornato 2024-09-21 📅 Creato 2018-12-06
105
NVlabs/qerl

[ICLR 2026] QeRL abilita RL per LLM da 32B su un singolo GPU H100.

NVlabs
⭐ 527 Python 👤 NVlabs Organization 🕐 Aggiornato 2026-11-16 📅 Creato 2025-09-22
106
slavabarkov/tidy

Ricerca semantica offline da testo a immagine e da immagine a immagine su Android, alimentata dal modello CLIP pre-addestrato con quantizzazione di stato dell'arte e dal motore di inferenza ONNX Runtime

slavabarkov
⭐ 525 Kotlin 👤 slavabarkov User 🕐 Aggiornato 2024-03-28 📅 Creato 2023-02-24
107
huawei-csl/KVarN

KVarN è un backend nativo di vLLM per la quantizzazione della cache KV dei tuoi agenti: da 3 a 5 volte più contesto, throughput superiore a FP16 e accuratezza di livello FP16. Senza calibrazione, basta un flag.

huawei-csl
⭐ 521 Python 👤 huawei-csl Organization 🕐 Aggiornato 2026-06-22 📅 Creato 2026-05-29
108
turboderp-org/exui

Interfaccia Web per ExLlamaV2

turboderp-org
⭐ 513 JavaScript 👤 turboderp-org Organization 🕐 Aggiornato 2025-02-05 📅 Creato 2023-10-29
109
AEON-7/Qwen3.6-27B-AEON-Ultimate-Uncensored-DFlash

Ablazione completamente senza censura e con capacità potenziate di Qwen3.6-27B. Decodifica speculativa NVFP4 + z-lab DFlash (n=12) nel container unificato ghcr.io/aeon-7/aeon-vllm-ultimate:latest, ottimizzata per l’accettazione delle proposte in contesti lunghi su DGX Spark. 6 varianti HF (BF16/NVFP4/MTP/MTP-XS), docker-compose e guida QuickStart.

AEON-7
⭐ 501 Python 👤 AEON-7 User 🕐 Aggiornato 2026-11-13 📅 Creato 2026-04-25