#quantization Repository
109 repository in totale
Inferenza rapida e precisa per i modelli StartLux-Decision su GPU NVIDIA: i file GGUF rilasciati vengono eseguiti su tensor core int8 e a 4 bit tramite l’API /v1/systemone, con una latenza fino a 5,3 volte inferiore rispetto a vLLM in FP8 e risposte identiche bit per bit.
Da insegnante a tessere — un motore di distillazione e servizio LLM costruito da zero: kernel Triton/CUDA personalizzati, distillazione FSDP, elaborazione batch continua con KV paginato, decodifica speculativa, un gateway Rust, un oracolo JAX e strumenti di interpretabilità.
Xolotl: esegui DeepSeek-V4.1-Flash, con tutti i 552B parametri, come agente di programmazione locale su un singolo PC da gaming (RTX 4090 + 110 GB di RAM): ~33 tok/s come agente, ~41 in modalità veloce, contesto da 512K. Inoltre, Inkling-2-Mini (Thinking Machines, motore proprietario + generatore di bozze MTP), GLM-5.3-Flash, Qwen3.8 e LFM3-Omni. Esperti MoE organizzati a livelli tra VRAM, RAM e NVMe (Xolotl Direct). API OpenAI + Anthropic.
Meravigliosi articoli di ricerca sulla compressione di modelli di machine learning, quantizzazione, strumenti e materiali di apprendimento.
Ricerca semantica offline da testo a immagine e da immagine a immagine su Android, alimentata dal modello CLIP pre-addestrato con quantizzazione di stato dell'arte e dal motore di inferenza ONNX Runtime
KVarN è un backend nativo di vLLM per la quantizzazione della cache KV dei tuoi agenti: da 3 a 5 volte più contesto, throughput superiore a FP16 e accuratezza di livello FP16. Senza calibrazione, basta un flag.
Ablazione completamente senza censura e con capacità potenziate di Qwen3.6-27B. Decodifica speculativa NVFP4 + z-lab DFlash (n=12) nel container unificato ghcr.io/aeon-7/aeon-vllm-ultimate:latest, ottimizzata per l’accettazione delle proposte in contesti lunghi su DGX Spark. 6 varianti HF (BF16/NVFP4/MTP/MTP-XS), docker-compose e guida QuickStart.