#quantization Dépôts
109 dépôts au total
PaddleSlim est une bibliothèque open-source pour la compression de modèles profonds et la recherche d'architecture.
FB (Facebook) + GEMM (Multiplication générale de matrice par matrice) - https://code.fb.com/ml-applications/fbgemm/
Un kit d'outils pour optimiser les modèles ML pour le déploiement sur Keras et TensorFlow, incluant la quantification et l'élagage.
Inférence sur CPU sans GPU pour les modèles MoE de 30B à 284B (Qwen3.8 176.5B certifié avec cache froide dans Cgroup v2 à 28,26/48,35 Gio, DeepSeek-V4 284B, Nemotron-30B) + RouteCrack 2.0.
Calculez les exigences en mémoire GPU/token pour tout LLM. Prend en charge la quantification llama.cpp/ggml/bnb/QLoRA
Créez, entraînez, optimisez et exécutez des modèles de vision par ordinateur en local, des images brutes à l’inférence en temps réel. Open source, optimisé pour Intel® XPU (CUDA est également pris en charge).
Méthodes de calcul efficaces développées par Huawei Noah's Ark Lab
Boîte à outils de quantification (compression) de modèles LLM, avec prise en charge de l’accélération matérielle pour Nvidia CUDA, AMD ROCm, Intel XPU, Tenstorrent, les NPU Huawei Ascend et les processeurs Intel/AMD/Apple via HF, vLLM et SGLang.
[ICML2025] SpargeAttention : Une attention éparse sans entraînement qui accélère l'inférence de n'importe quel modèle.
Framework de compression de réseau neuronal pour une inférence OpenVINO™ améliorée
Z80-μLM est un modèle de langage quantifié de 2 bits, suffisamment petit pour fonctionner sur un processeur Z80 8 bits. Entraînez des modèles conversationnels en Python, exportez-les en tant que binaires CP/M .COM et discutez avec votre ordinateur vintage.
Maximiser la capacité à exécuter différents LLM sur les appareils les plus petits possible
Un plan pour la construction de systèmes RAG prêts pour la production qui minimisent les hallucinations, avec des pipelines commutables à 3 étapes (Vitesse) et 4 étapes (Précision).
Un framework puissant de compression de modèles pour les LLMs et LVLMs, adapté aux GPU NVIDIA et aux NPU Huawei Ascend.
Un outil pour convertir les fichiers ONNX en LiteRT/TFLite/TensorFlow, code natif PyTorch (nn.Module), TorchScript (.pt), state_dict (.pt), Exported Program (.pt2) et Dynamo ONNX. Il prend également en charge la conversion directe de LiteRT vers PyTorch.
Un noyau d'inférence LLM FP16xINT4 qui peut atteindre des accélérations quasi idéales d'environ 4x jusqu'à des tailles de lot moyennes de 16 à 32 jetons.
[ICLR2024 Spotlight] OmniQuant est une technique de quantification simple et puissante pour les LLM.
Bibliothèque de quantification de palette qui alimente pngquant et d'autres optimiseurs PNG
[NeurIPS 2020] MCUNet: Tiny Deep Learning sur les appareils IoT ; [NeurIPS 2021] MCUNetV2 : Inférence basée sur des patchs à haut rendement mémoire pour le Tiny Deep Learning ; [NeurIPS 2022] MCUNetV3 : Entraînement sur appareil avec moins de 256 Ko de mémoire
AMD Ryzen™ AI Software comprend les outils et les bibliothèques d'exécution pour optimiser et déployer l'inférence IA sur les PC dotés de AMD Ryzen™ AI.
Halo est un framework open source développé par White Circle pour entraîner des modèles de langage de grande taille et des modèles multimodaux
Code pour l'article ICML 2023 "SparseGPT: Massive Language Models Can Be Accurately Pruned in One-Shot".
[MLSys'25] QServe : Quantification W4A8KV4 et co-conception de systèmes pour un service LLM efficace ; [MLSys'25] LServe : Service LLM efficace pour les longues séquences avec attention éparse unifiée
Liste des articles liés à la quantification des réseaux neuronaux dans les conférences et revues d'IA récentes.
Algorithmes et systèmes de LLM en pratique avec PyTorch, Triton et CUDA. « Tutoriel sur les algorithmes et systèmes de LLM » : architectures et entraînement des modèles, post-entraînement, accélération de l’inférence, optimisation des performances et des opérateurs, avec des exercices Notebook, des explications des réponses, des tests et des expériences.
[EMNLP 2024 & AAAI 2026] Une boîte à outils puissante pour compresser les grands modèles, y compris les LLM, les VLM et les modèles génératifs vidéo.
37 tok/s avec Qwen3-Next-80B (48 Go) sur un ordinateur portable de 32 Go ; 24 sans spéculation, contre 2,8 avec llama.cpp ; lecture à 62 contre 16 tok/s. Plus rapide que llama.cpp sur les 13 modèles comparés en Q4_K_M. Des LLM plus grands que votre RAM, en C pur, sur CPU ou GPU.
Le Zoo de Modèles Hailo comprend des modèles pré-entraînés et un environnement complet pour la construction et l'évaluation
Fiches de préparation bilingues (chinois + anglais) aux entretiens de ML / LLM / diffusion / agents pour le recrutement d’automne en IA — générées par ARIS /interview-cheatsheet, puis rendues par /render-html en fichiers HTML autonomes lisibles partout — ainsi qu’un générateur de pages d’accueil académiques vérifié par recoupement CV→DBLP et des articles longs rédigés par l’auteur 🌱
Bienvenue dans le dépôt officiel de SINQ ! Une méthode de quantification novatrice, rapide et de haute qualité conçue pour rendre tout Grand Modèle de Langage plus petit tout en préservant la précision [ICML 2026]
Analyser l'inférence des grands modèles de langage (LLM). Analyser des aspects tels que le calcul, le stockage, la transmission et le modèle roofline du matériel dans une interface conviviale.
QKeras : une bibliothèque d'apprentissage profond de quantification pour Tensorflow Keras
Outil pour onnx->keras ou onnx->tflite. J'espère que cet outil pourra vous aider.
Résumé, Code pour la Quantification de Réseaux de Neurones Profonds