#quantization Repositorios
109 repositorios en total
PaddleSlim es una biblioteca de código abierto para la compresión de modelos profundos y la búsqueda de arquitecturas.
FB (Facebook) + GEMM (Multiplicación General de Matriz-Matriz) - https://code.fb.com/ml-applications/fbgemm/
Un kit de herramientas para optimizar modelos de ML para el despliegue en Keras y TensorFlow, incluyendo cuantización y poda.
Inferencia en CPU sin GPU para modelos MoE de 30B–284B (Qwen3.8 176.5B certificado con caché fría en Cgroup v2 de 28,26/48,35 GiB, DeepSeek-V4 284B, Nemotron-30B) + RouteCrack 2.0.
Calcule los requisitos de tokens/s y memoria de GPU para cualquier LLM. Soporta cuantización llama.cpp/ggml/bnb/QLoRA
Crea, entrena, optimiza y ejecuta modelos de visión por computadora localmente, desde imágenes sin procesar hasta inferencia en tiempo real. De código abierto y optimizado para Intel® XPU (también compatible con CUDA).
Métodos de cómputo eficientes desarrollados por Huawei Noah's Ark Lab
Kit de herramientas para la cuantización (compresión) de modelos LLM, con aceleración por hardware para Nvidia CUDA, AMD ROCm, Intel XPU, Tenstorrent, NPU Huawei Ascend y CPU Intel/AMD/Apple mediante HF, vLLM y SGLang.
[ICML2025] SpargeAttention: Una atención dispersa sin entrenamiento que acelera la inferencia de cualquier modelo.
Framework de compresión de redes neuronales para una inferencia OpenVINO™ mejorada
Z80-μLM es un modelo de lenguaje cuantificado de 2 bits lo suficientemente pequeño como para ejecutarse en un procesador Z80 de 8 bits. Entrena modelos conversacionales en Python, expórtalos como binarios CP/M .COM y chatea con tu ordenador clásico.
Maximizar la capacidad de ejecutar distintos LLM en los dispositivos más pequeños posibles
Un plano para construir sistemas RAG listos para producción que minimizan las alucinaciones, con canalizaciones conmutables de 3 pasos (Velocidad) y 4 pasos (Precisión).
Un marco potente de compresión de modelos para LLMs y LVLMs, adaptado para GPUs NVIDIA y NPUs Huawei Ascend.
Una herramienta para convertir archivos ONNX a LiteRT/TFLite/TensorFlow, código nativo de PyTorch (nn.Module), TorchScript (.pt), state_dict (.pt), Exported Program (.pt2) y Dynamo ONNX. También soporta la conversión directa de LiteRT a PyTorch.
Un kernel de inferencia LLM FP16xINT4 que puede lograr aceleraciones cercanas al ideal de ~4x hasta tamaños de lote medianos de 16-32 tokens.
[ICLR2024 Spotlight] OmniQuant es una técnica de cuantificación simple y potente para LLMs.
Biblioteca de cuantización de paleta que impulsa pngquant y otros optimizadores de PNG
[NeurIPS 2020] MCUNet: Tiny Deep Learning en Dispositivos IoT; [NeurIPS 2021] MCUNetV2: Inferencia basada en parches con alta eficiencia de memoria para Tiny Deep Learning; [NeurIPS 2022] MCUNetV3: Entrenamiento en el dispositivo con menos de 256 KB de memoria
AMD Ryzen™ AI Software incluye las herramientas y bibliotecas de tiempo de ejecución para optimizar y desplegar la inferencia de IA en PC con tecnología AMD Ryzen™ AI.
Halo es un marco de código abierto desarrollado por White Circle para entrenar modelos de lenguaje de gran tamaño y modelos multimodales
Código para el artículo de ICML 2023 "SparseGPT: Massive Language Models Can Be Accurately Pruned in One-Shot".
[MLSys'25] QServe: Cuantificación W4A8KV4 y codesign de sistemas para un servicio de LLM eficiente; [MLSys'25] LServe: Servicio eficiente de LLM para secuencias largas con atención dispersa unificada
Lista de artículos relacionados con la cuantización de redes neuronales en conferencias y revistas recientes de IA.
Algoritmos y sistemas de LLM con PyTorch, Triton y CUDA: aprendizaje práctico. «Tutorial de algoritmos y sistemas de LLM»: arquitecturas y entrenamiento de modelos, posentrenamiento, aceleración de inferencia, optimización del rendimiento y de operadores; incluye ejercicios en Notebook, explicaciones de las respuestas, pruebas y experimentos.
[EMNLP 2024 & AAAI 2026] Un potente kit de herramientas para comprimir modelos grandes, incluidos LLM, VLM y modelos generativos de video.
37 tok/s con Qwen3-Next-80B (48 GB) en un portátil de 32 GB; 24 sin borradores, frente a 2,8 con llama.cpp; lectura a 62 frente a 16 tok/s. Más rápido que llama.cpp en los 13 modelos comparados en Q4_K_M. LLM más grandes que tu RAM, en C puro, para CPU o GPU.
El Zoo de Modelos de Hailo incluye modelos pre-entrenados y un entorno completo de construcción y evaluación
Hojas de consulta bilingües (chino + inglés) para entrevistas de ML / LLM / difusión / agentes en la campaña de contratación otoñal de IA — generadas por ARIS /interview-cheatsheet y convertidas mediante /render-html en HTML de un solo archivo, legible en cualquier lugar — además de un generador de páginas académicas verificado mediante CV→DBLP y blogs extensos escritos personalmente 🌱
¡Bienvenido al repositorio oficial de SINQ! Un método de cuantización novedoso, rápido y de alta calidad diseñado para hacer que cualquier Gran Modelo de Lenguaje sea más pequeño mientras preserva la precisión [ICML 2026]
Analice la inferencia de los Large Language Models (LLM). Analice aspectos como el cálculo, el almacenamiento, la transmisión y el modelo de techo de hardware en una interfaz fácil de usar.
QKeras: una biblioteca de aprendizaje profundo de cuantización para Tensorflow Keras
Herramienta para onnx->keras o onnx->tflite. Espero que esta herramienta pueda ayudarte.
Resumen, Código para la Cuantización de Redes Neuronales Profundas