#quantization Repository
109 repository in totale
PaddleSlim รจ una libreria open-source per la compressione di modelli profondi e la ricerca di architetture.
FB (Facebook) + GEMM (Moltiplicazione Generale di Matrice per Matrice) - https://code.fb.com/ml-applications/fbgemm/
Un toolkit per ottimizzare modelli ML per il deployment su Keras e TensorFlow, inclusa quantizzazione e pruning.
Inferenza su CPU senza GPU per modelli MoE da 30B a 284B (Qwen3.8 176.5B certificato con cache fredda in Cgroup v2 a 28,26/48,35 GiB, DeepSeek-V4 284B, Nemotron-30B) + RouteCrack 2.0.
Calcola il requisito di memoria GPU/token per qualsiasi LLM. Supporta la quantizzazione llama.cpp/ggml/bnb/QLoRA
Crea, addestra, ottimizza ed esegui modelli di computer vision localmente, dalle immagini grezze allโinferenza in tempo reale. Open source e ottimizzato per Intelยฎ XPU (supporta anche CUDA).
Toolkit per la quantizzazione (compressione) di modelli LLM, con supporto allโaccelerazione hardware per Nvidia CUDA, AMD ROCm, Intel XPU, Tenstorrent, NPU Huawei Ascend e CPU Intel/AMD/Apple tramite HF, vLLM e SGLang.
[ICML2025] SpargeAttention: Un'attenzione sparsa senza addestramento che accelera l'inferenza di qualsiasi modello.
Framework di compressione della rete neurale per un'inferenza OpenVINOโข avanzata
Z80-ฮผLM รจ un modello linguistico quantizzato a 2 bit abbastanza piccolo da poter funzionare su un processore Z80 a 8 bit. Addestra modelli conversazionali in Python, esportali come binari CP/M .COM e chatta con il tuo computer d'epoca.
Massimizzare la capacitร di eseguire diversi LLM sui dispositivi piรน piccoli possibili
Un progetto per la creazione di sistemi RAG pronti per la produzione che minimizzano le allucinazioni, caratterizzato da pipeline commutabili a 3 passaggi (Velocitร ) e 4 passaggi (Precisione).
Un framework potente di compressione di modelli per LLMs e LVLMs, adattato per GPU NVIDIA e NPU Huawei Ascend.
Uno strumento per convertire file ONNX in LiteRT/TFLite/TensorFlow, codice nativo PyTorch (nn.Module), TorchScript (.pt), state_dict (.pt), Exported Program (.pt2) e Dynamo ONNX. Supporta anche la conversione diretta da LiteRT a PyTorch.
Un kernel di inferenza LLM FP16xINT4 che puรฒ ottenere accelerazioni vicine all'ideale di circa 4x fino a batch di medie dimensioni da 16-32 token.
[ICLR2024 Spotlight] OmniQuant รจ una tecnica di quantizzazione semplice e potente per gli LLM.
Libreria di quantizzazione della palette che alimenta pngquant e altri ottimizzatori PNG
[NeurIPS 2020] MCUNet: Tiny Deep Learning su Dispositivi IoT; [NeurIPS 2021] MCUNetV2: Inferenza basata su patch ad alta efficienza di memoria per Tiny Deep Learning; [NeurIPS 2022] MCUNetV3: Addestramento On-Device con meno di 256KB di memoria
AMD Ryzenโข AI Software include gli strumenti e le librerie di runtime per ottimizzare e distribuire l'inferenza AI su PC basati su AMD Ryzenโข AI.
Halo รจ un framework open source sviluppato da White Circle per addestrare modelli linguistici di grandi dimensioni e modelli multimodali
Codice per l'articolo ICML 2023 "SparseGPT: Massive Language Models Can Be Accurately Pruned in One-Shot".
[MLSys'25] QServe: Quantizzazione W4A8KV4 e co-progettazione del sistema per un serving efficiente di LLM; [MLSys'25] LServe: Serving efficiente di LLM per sequenze lunghe con attenzione sparsa unificata
Elenco di articoli relativi alla quantizzazione delle reti neurali nelle recenti conferenze e riviste di IA.
Algoritmi e sistemi LLM con PyTorch, Triton e CUDA, con un approccio pratico. ยซTutorial sugli algoritmi e i sistemi LLMยป: architetture e addestramento dei modelli, post-addestramento, accelerazione dellโinferenza, ottimizzazione delle prestazioni e degli operatori; include esercizi in Notebook, spiegazioni delle risposte, test ed esperimenti.
[EMNLP 2024 & AAAI 2026] Un potente toolkit per comprimere modelli di grandi dimensioni, inclusi LLM, VLM e modelli generativi video.
37 tok/s con Qwen3-Next-80B (48 GB) su un laptop da 32 GB; 24 senza draft contro 2,8 con llama.cpp; lettura a 62 contro 16 tok/s. Piรน veloce di llama.cpp in tutti i 13 modelli confrontati in Q4_K_M. LLM piรน grandi della tua RAM, in puro C, per CPU o GPU.
Il Model Zoo di Hailo include modelli pre-addestrati e un ambiente completo per la creazione e la valutazione
Schede bilingui (cinese + inglese) per i colloqui su ML / LLM / diffusion / agenti nella selezione autunnale per lโAI โ generate da ARIS /interview-cheatsheet e trasformate da /render-html in file HTML singoli leggibili ovunque โ oltre a un generatore di homepage accademiche verificato rispetto a CVโDBLP e blog in formato lungo scritti personalmente ๐ฑ
Benvenuto nel repository ufficiale di SINQ! Un metodo di quantizzazione innovativo, veloce e di alta qualitร progettato per rendere qualsiasi Large Language Model piรน piccolo mantenendo la precisione [ICML 2026]
Analizzare l'inferenza dei Large Language Models (LLM). Analizzare aspetti come il calcolo, lo storage, la trasmissione e il modello di efficienza hardware (roofline model) in un'interfaccia user-friendly.
Strumento per onnx->keras o onnx->tflite. Spero che questo strumento possa esserti d'aiuto.
Riassunto, Codice per la Quantizzazione di Reti Neurali Profonde