#quantization Repositorios
Descubre 109 repositorios activos de código abierto de GitHub etiquetados con #quantization, que acumulan 487,465 estrellas en total (una media de 4,472 estrellas por proyecto). El líder de este tema es hiyouga/LlamaFactory, con 76,171 estrellas.
109 repositorios en total
Un marco flexible para experimentar optimizaciones de inferencia/ajuste fino de LLM heterogéneos
Modelos de Lenguaje Grandes LLaMA y Alpaca Chinos + Entrenamiento e Implementación Local en CPU/GPU (Chinese LLaMA & Alpaca LLMs)
[🔥actualizando ...] Robot de trading cuantitativo AI automático (despliegue completamente local) Plataforma de investigación de inversiones cuantitativas impulsada por IA. 📃 documentación en línea: https://ufund-me.github.io/Qbot ✨ :news: qbot-mini: https://github.com/Charmve/iQuant
Un índice vectorial construido sobre TurboQuant, escrito en Rust con enlaces de Python
Un modelo Kimi K3 de 2,78 billones de parámetros ejecutando inferencia en una sola CPU con 8,24 GB de RAM. C99 portátil: sin BLAS, sin framework, sin GPU.
Modelos de lenguaje grandes accesibles a través de cuantización k-bit para PyTorch.
Generación de texto Transformer simple y eficiente, nativa de Pytorch, en <1000 LOC de Python.
Implementación del modelo de lenguaje LLaMA basado en nanoGPT. Soporta atención flash, cuantización Int8 y GPTQ de 4 bits, ajuste fino LoRA y LLaMA-Adapter, pre-entrenamiento. Licencia Apache 2.0.
Compresor PNG con pérdida — comando pngquant basado en la biblioteca libimagequant
fastllm es una biblioteca de inferencia de modelos de lenguaje grandes de alto rendimiento que no depende de ningún backend y le ayuda a ejecutar inferencias de forma eficiente en la mayoría de los dispositivos.
Una biblioteca de inferencia rápida para ejecutar LLM localmente en GPU modernas de clase de consumo
Compartir conocimientos de AI Infra y práctica de código: PyTorch, vLLM/SGLang, introducción al marco slime/vime ⚡️, aceleración de rendimiento 🚀, fundamentos de modelos grandes 🧠, software y hardware de IA 🔧, etc.
[ICLR2025, ICML2025, NeurIPS2025 Spotlight] La Atención Cuantificada (Quantized Attention) logra una aceleración de 2 a 5 veces en comparación con FlashAttention, sin perder métricas de extremo a extremo en modelos de lenguaje, imagen y video.
Compresión de LLM de última generación, diseñada para la inferencia en producción con vLLM
[ICLR2025 Spotlight] SVDQuant: Absorción de valores atípicos mediante componentes de bajo rango para modelos de difusión de 4 bits
VILA es una familia de modelos de lenguaje de visión (VLM) de última generación para diversas tareas de IA multimodal en el borde, centros de datos y la nube.
Tu hoja de trucos para la entrevista de ingeniería de IA – Preguntas y respuestas.
[MLSys 2024 Best Paper Award] AWQ: Cuantización de pesos sensible a la activación para la compresión y aceleración de LLM
Acelera la inferencia y el entrenamiento de 🤗 Transformers, Diffusers, TIMM y Sentence Transformers con herramientas de optimización de hardware fáciles de usar
Fork de llama.cpp con cuantificaciones SOTA adicionales y rendimiento mejorado
Modelo de lenguaje preentrenado y sus técnicas de optimización relacionadas desarrolladas por Huawei Noah's Ark Lab.
Ejecuta GLM-5.3 (744B), DeepSeek-V4.1-Flash (748B), MiniMax-M3.1-Flash (428B), GLM-5.3-Flash (321B) y Hy4-Flash (220B) en tus propias GPU: desde 8 GB de VRAM, compatibles con NVIDIA y AMD, un solo panel de control y una API compatible con OpenAI y Anthropic.
Ejecuta modelos Qwen grandes rápidamente en las GPU que realmente tienes. Qwen3.8-27B en una sola tarjeta de 24 GB con vLLM: 127 tok/s para un solo usuario (381 cuando la respuesta cita el prompt), aproximadamente 1.035 tok/s con 64 solicitudes concurrentes y un contexto de 150k–262k. Parches para vLLM, canalización de requantización y benchmarks.
AIMET es una biblioteca que proporciona técnicas avanzadas de cuantización y compresión para modelos de redes neuronales entrenadas.
Cuantización LLM de baja precisión SOTA (INT8/FP8/MXFP8/INT4/MXFP4/NVFP4) y esparcidad; técnicas líderes de compresión de modelos en PyTorch, TensorFlow y ONNX Runtime
Crea, personaliza y controla tus propios LLM. Desde el preprocesamiento de datos hasta el ajuste fino, xTuring ofrece una forma sencilla de personalizar los LLM de código abierto. Únete a nuestra comunidad de Discord: https://discord.gg/TgHXuSJEk6
repositorio oficial del modelo de lenguaje grande de código aiXcoder-7B
micronet, una biblioteca de compresión y despliegue de modelos. Compresión: 1、Cuantización: entrenamiento consciente de cuantización(QAT), Alto-Bit(>2b)(DoReFa/Quantization and Training of Neural Networks for Efficient Integer-Arithmetic-Only Inference)、Bajo-Bit(≤2b)/Ternario y Binario(TWN/BNN/XNOR-Net); cuantización post-entrenamiento(PTQ), 8-bit(tensorrt); 2、poda: normal、regular y poda de canales convolucionales en grupo; 3、estructura de convolución en grupo; 4、fusión de normalización por lotes para cuantización. Despliegue: tensorrt, fp32/fp16/in
Código para el artículo de ICLR 2023 "GPTQ: Accurate Post-training Quantization of Generative Pretrained Transformers".
Ejecuta un LLM de 1 billón de parámetros en una placa de $10 con 256 MB de RAM.
Un paquete de Python para extender el PyTorch oficial que puede obtener fácilmente rendimiento en la plataforma Intel
Una biblioteca optimizada de cuantización e inferencia para ejecutar LLM localmente en GPU de consumo modernas
Kit de herramientas de compresión de modelos diseñado para una mayor usabilidad, exhaustividad y eficiencia.
PPL Quantization Tool (PPQ) es una potente herramienta de cuantización de redes neuronales sin conexión.
Eficiencia de la cuantización posterior al entrenamiento, precisión de la cuantización con entrenamiento consciente
Ejemplos de uso de ONNX Runtime para inferencia de aprendizaje automático.
Preguntas frecuentes
¿Cuál es el repositorio de #quantization más popular en GitHub?
El proyecto de código abierto de #quantization mejor posicionado en GitHub es hiyouga/LlamaFactory, con 76,171 estrellas. Ajuste fino eficiente unificado de más de 100 LLM y VLM (ACL 2024)
¿Qué lenguajes de programación se utilizan más en los repositorios de #quantization?
Entre los proyectos de #quantization mejor posicionados en GitHub, los lenguajes de programación más comunes son Python, C++, Jupyter Notebook, C.
¿Cómo se calcula la clasificación de los repositorios de #quantization?
Seguimos 109 repositorios activos de código abierto etiquetados con #quantization (500+ estrellas), que suman un total de 487,465 estrellas, con una media de 4,472 estrellas por repositorio. Las clasificaciones se actualizan diariamente a partir de la API de GitHub.