#quantization Dépôts
Découvrez 109 dépôts GitHub open source actifs associés à #quantization, cumulant 487,465 étoiles au total (soit une moyenne de 4,472 étoiles par projet). Le projet en tête de ce thème est hiyouga/LlamaFactory, avec 76,171 étoiles.
109 dépôts au total
Un cadre flexible pour expérimenter les optimisations d'inférence/de fine-tuning des LLM hétérogènes
Modèles de Langage à Grande Échelle LLaMA & Alpaca Chinois + Entraînement et Déploiement sur CPU/GPU Locaux (Chinese LLaMA & Alpaca LLMs)
[🔥mise à jour ...] Robot de trading quantitatif IA automatique (déploiement entièrement local) Plateforme de recherche sur les investissements quantitatifs basée sur l'IA. 📃 documentation en ligne : https://ufund-me.github.io/Qbot ✨ :news: qbot-mini: https://github.com/Charmve/iQuant
Un index vectoriel construit sur TurboQuant, écrit en Rust avec des bindings Python
Un modèle Kimi K3 de 2 780 milliards de paramètres effectuant une inférence sur un seul CPU avec 8,24 Go de RAM. C99 portable : sans BLAS, sans framework, sans GPU.
Modèles linguistiques volumineux accessibles via la quantification k-bit pour PyTorch.
Génération de texte Transformer simple et efficace, native de pytorch, en moins de 1000 lignes de code Python.
Implémentation du modèle linguistique LLaMA basé sur nanoGPT. Prend en charge le flash attention, la quantification Int8 et GPTQ 4 bits, le réglage fin LoRA et LLaMA-Adapter, le pré-entraînement. Licence Apache 2.0.
Compresseur PNG avec perte — commande pngquant basée sur la bibliothèque libimagequant
fastllm est une bibliothèque d’inférence de grands modèles de langage haute performance, sans dépendance à un backend, qui vous aide à exécuter efficacement des inférences sur la plupart des appareils.
Une bibliothèque d'inférence rapide pour exécuter des LLM localement sur des GPU modernes de classe consommateur
Partage de connaissances AI Infra et pratique de code : PyTorch, vLLM/SGLang, introduction au framework slime/vime ⚡️, accélération des performances 🚀, bases des grands modèles 🧠, logiciels et matériels IA 🔧, etc.
[ICLR2025, ICML2025, NeurIPS2025 Spotlight] L'attention quantifiée (Quantized Attention) atteint une accélération de 2 à 5 fois par rapport à FlashAttention, sans perte de métriques de bout en bout sur les modèles de langage, d'image et de vidéo.
Compression de LLM de pointe, conçue pour l’inférence en production avec vLLM
[ICLR2025 Spotlight] SVDQuant : Absorption des valeurs aberrantes par des composantes de rang faible pour les modèles de diffusion 4 bits
VILA est une famille de modèles de langage visuel (VLM) de pointe pour diverses tâches d'IA multimodales dans les environnements edge, de centre de données et cloud.
Votre fiche de révision pour l'entretien d'embauche en ingénierie IA – Questions et réponses.
[MLSys 2024 Best Paper Award] AWQ : Quantification des poids sensible à l'activation pour la compression et l'accélération des LLM
Accélérez l'inférence et l'entraînement de 🤗 Transformers, Diffusers, TIMM et Sentence Transformers avec des outils d'optimisation matérielle faciles à utiliser
Fork de llama.cpp avec des quants SOTA supplémentaires et des performances améliorées
Modèle de langage pré-entraîné et ses techniques d'optimisation associées développées par Huawei Noah's Ark Lab.
Exécutez GLM-5.3 (744B), DeepSeek-V4.1-Flash (748B), MiniMax-M3.1-Flash (428B), GLM-5.3-Flash (321B) et Hy4-Flash (220B) sur vos propres GPU — à partir de 8 Go de VRAM, avec prise en charge de NVIDIA et AMD, un tableau de bord unique et une API compatible avec OpenAI et Anthropic.
Exécutez rapidement de grands modèles Qwen sur les GPU que vous possédez réellement. Qwen3.8-27B sur une seule carte de 24 Go avec vLLM : 127 tok/s pour un seul utilisateur (381 lorsque la réponse cite le prompt), environ 1 035 tok/s avec 64 requêtes simultanées, et un contexte de 150k à 262k. Correctifs vLLM, pipeline de re-quantification et benchmarks.
AIMET est une bibliothèque qui fournit des techniques avancées de quantification et de compression pour les modèles de réseaux neuronaux entraînés.
Quantification LLM SOTA à faible nombre de bits (INT8/FP8/MXFP8/INT4/MXFP4/NVFP4) et sparsité ; techniques de compression de modèles de pointe sur PyTorch, TensorFlow et ONNX Runtime
Créez, personnalisez et contrôlez vos propres LLM. Du prétraitement des données au réglage fin, xTuring offre un moyen simple de personnaliser les LLM open-source. Rejoignez notre communauté Discord : https://discord.gg/TgHXuSJEk6
Exécutez les modèles Mixtral-8x7B dans Colab ou sur des ordinateurs de bureau grand public
dépôt officiel du modèle linguistique de grande taille pour le code aiXcoder-7B
micronet, une bibliothèque de compression et de déploiement de modèles. Compression : 1、quantification : entraînement conscient de la quantification(QAT), High-Bit(>2b)(DoReFa/Quantization and Training of Neural Networks for Efficient Integer-Arithmetic-Only Inference)、Low-Bit(≤2b)/Ternaire et Binaire(TWN/BNN/XNOR-Net) ; quantification post-entraînement(PTQ), 8-bit(tensorrt) ; 2、élagage : normal、régulier et élagage de canaux convolutifs en groupe ; 3、structure de convolution en groupe ; 4、fusion de normalisation par lots pour la quantification. Déploiement : tensorrt, fp32/fp16/in
Code pour le document ICLR 2023 "GPTQ: Accurate Post-training Quantization of Generative Pretrained Transformers".
Exécuter un LLM de 1 milliard de paramètres sur une carte de 10 $ avec 256 Mo de RAM.
Un package Python pour étendre l'officiel PyTorch qui peut facilement obtenir des performances sur la plateforme Intel
Une bibliothèque optimisée de quantification et d'inférence pour exécuter localement des LLM sur des GPU grand public modernes
Kit d'outils de compression de modèles conçu pour une meilleure convivialité, exhaustivité et efficacité.
PPL Quantization Tool (PPQ) est un puissant outil de quantification hors ligne pour réseaux neuronaux.
Efficacité de la quantification après entraînement, précision de la quantification avec entraînement conscient
Exemples d'utilisation d'ONNX Runtime pour l'inférence en machine learning.
Foire aux questions
Quel est le dépôt #quantization le plus populaire sur GitHub ?
Le projet #quantization open source le mieux classé sur GitHub est hiyouga/LlamaFactory, avec 76,171 étoiles. Affinage efficace unifié de plus de 100 LLM et VLM (ACL 2024)
Quels langages de programmation sont les plus utilisés dans les dépôts #quantization ?
Parmi les projets #quantization les mieux classés sur GitHub, les langages de programmation les plus courants sont Python, C++, Jupyter Notebook, C.
Comment le classement des dépôts #quantization est-il calculé ?
Nous suivons 109 dépôts open source actifs associés à #quantization (500+ étoiles), totalisant 487,465 étoiles, avec une moyenne de 4,472 étoiles par dépôt. Les classements sont mis à jour quotidiennement à partir de l’API GitHub.