#quantization Repository
Scopri 109 repository GitHub open source attivi contrassegnati con #quantization, che raccolgono un totale di 487,465 stelle (con una media di 4,472 stelle per progetto). Il progetto leader di questo argomento è hiyouga/LlamaFactory, con 76,171 stelle.
109 repository in totale
Un framework flessibile per sperimentare ottimizzazioni di inferenza/fine-tuning di LLM eterogenei
Modelli Linguistici di Grandi Dimensioni Cinesi LLaMA & Alpaca + Addestramento/Deployment Locale su CPU/GPU (Chinese LLaMA & Alpaca LLMs)
[🔥in aggiornamento ...] Bot di trading quantitativo AI automatico (distribuito completamente in locale) Piattaforma di ricerca sugli investimenti quantitativi basata sull'IA. 📃 documentazione online: https://ufund-me.github.io/Qbot ✨ :news: qbot-mini: https://github.com/Charmve/iQuant
Un indice vettoriale costruito su TurboQuant, scritto in Rust con binding Python
Un modello Kimi K3 da 2,78 trilioni di parametri che esegue l'inferenza su una singola CPU con 8,24 GB di RAM. C99 portatile: niente BLAS, niente framework, niente GPU.
Modelli linguistici di grandi dimensioni accessibili tramite quantizzazione k-bit per PyTorch.
Generazione di testo Transformer semplice ed efficiente, nativa di Pytorch, in <1000 LOC di Python.
Implementazione del modello linguistico LLaMA basato su nanoGPT. Supporta l'attenzione flash, la quantizzazione Int8 e GPTQ a 4 bit, la messa a punto LoRA e LLaMA-Adapter, il pre-training. Licenza Apache 2.0.
fastllm è una libreria di inferenza per modelli linguistici di grandi dimensioni ad alte prestazioni, senza dipendenze da backend, che consente di eseguire inferenze in modo efficiente sulla maggior parte dei dispositivi.
Una libreria di inferenza veloce per eseguire LLM localmente su moderne GPU di classe consumer
Condivisione di conoscenze AI Infra e pratica di codice: PyTorch, vLLM/SGLang, introduzione al framework slime/vime ⚡️, accelerazione delle prestazioni 🚀, basi dei modelli grandi 🧠, software e hardware AI 🔧, ecc.
[ICLR2025, ICML2025, NeurIPS2025 Spotlight] L'attenzione Quantizzata (Quantized Attention) raggiunge un aumento di velocità da 2 a 5 volte rispetto a FlashAttention, senza perdere le metriche end-to-end sui modelli di linguaggio, immagine e video.
Compressione di LLM all’avanguardia, progettata per l’inferenza in produzione con vLLM
[ICLR2025 Spotlight] SVDQuant: Assorbire gli outlier tramite componenti a basso rango per modelli di diffusione a 4 bit
VILA è una famiglia di modelli visivi linguistici (VLM) all'avanguardia per diversi compiti di intelligenza artificiale multimodale su edge, data center e cloud.
Il tuo cheat sheet per il colloquio di ingegneria IA – Domande e risposte.
[MLSys 2024 Best Paper Award] AWQ: Quantizzazione dei pesi consapevole dell'attivazione per la compressione e l'accelerazione di LLM
Accelera l'inferenza e l'addestramento di 🤗 Transformers, Diffusers, TIMM e Sentence Transformers con strumenti di ottimizzazione hardware facili da usare
Modello linguistico pre-addestrato e relative tecniche di ottimizzazione sviluppate da Huawei Noah's Ark Lab.
Esegui GLM-5.3 (744B), DeepSeek-V4.1-Flash (748B), MiniMax-M3.1-Flash (428B), GLM-5.3-Flash (321B) e Hy4-Flash (220B) sulle tue GPU — a partire da 8 GB di VRAM, con supporto per NVIDIA e AMD, un’unica dashboard e un’API compatibile con OpenAI e Anthropic.
Esegui rapidamente modelli Qwen di grandi dimensioni sulle GPU che possiedi davvero. Qwen3.8-27B su una singola scheda da 24 GB con vLLM: 127 tok/s per un singolo utente (381 quando la risposta cita il prompt), circa 1.035 tok/s con 64 richieste simultanee e un contesto di 150k–262k. Patch per vLLM, pipeline di requantizzazione e benchmark.
AIMET è una libreria che fornisce tecniche avanzate di quantizzazione e compressione per modelli di reti neurali addestrati.
Quantizzazione LLM a basso bit SOTA (INT8/FP8/MXFP8/INT4/MXFP4/NVFP4) e sparsità; tecniche leader di compressione del modello su PyTorch, TensorFlow e ONNX Runtime
Costruisci, personalizza e controlla i tuoi LLM. Dalla pre-elaborazione dei dati al fine-tuning, xTuring offre un modo semplice per personalizzare gli LLM open-source. Unisciti alla nostra community Discord: https://discord.gg/TgHXuSJEk6
repository ufficiale del modello linguistico di grandi dimensioni per codice aiXcoder-7B
micronet, una libreria per compressione e deployment di modelli. Compressione: 1、Quantizzazione: training-aware quantization(QAT), High-Bit(>2b)(DoReFa/Quantization and Training of Neural Networks for Efficient Integer-Arithmetic-Only Inference)、Low-Bit(≤2b)/Ternario e Binario(TWN/BNN/XNOR-Net); quantizzazione post-training(PTQ), 8-bit(tensorrt); 2、potatura: normale、regolare e potatura di canali convoluzionali di gruppo; 3、struttura di convoluzione di gruppo; 4、fusione di normalizzazione batch per quantizzazione. Deployment: tensorrt, fp32/fp16/in
Codice per l'articolo ICLR 2023 "GPTQ: Accurate Post-training Quantization of Generative Pretrained Transformers".
Esegui un LLM con 1 miliardo di parametri su una scheda da $10 con 256 MB di RAM.
Un pacchetto Python per estendere l'ufficiale PyTorch che può facilmente ottenere prestazioni sulla piattaforma Intel
Una libreria ottimizzata per la quantizzazione e l'inferenza per l'esecuzione locale di LLM su GPU consumer moderne
Toolkit di compressione dei modelli progettato per una maggiore usabilità, completezza ed efficienza.
PPL Quantization Tool (PPQ) è un potente strumento offline per la quantizzazione di reti neurali.
Efficienza della quantizzazione post-training, accuratezza della quantizzazione con addestramento consapevole
Esempi per l'utilizzo di ONNX Runtime per l'inferenza di machine learning.
Domande frequenti
Qual è il repository #quantization più popolare su GitHub?
Il progetto open source #quantization più alto in classifica su GitHub è hiyouga/LlamaFactory, con 76,171 stelle. Fine-tuning unificato ed efficiente di oltre 100 LLM e VLM (ACL 2024)
Quali linguaggi di programmazione sono più utilizzati nei repository #quantization?
Tra i progetti #quantization più alti in classifica su GitHub, i linguaggi di programmazione più comuni sono Python, C++, Jupyter Notebook, C.
Come viene calcolata la classifica dei repository #quantization?
Monitoriamo 109 repository open source attivi contrassegnati con #quantization (500+ stelle), per un totale di 487,465 stelle e una media di 4,472 stelle per repository. Le classifiche vengono aggiornate quotidianamente tramite l’API di GitHub.