#quantization Repositorios
109 repositorios en total
Inferencia rápida y exacta para los modelos StartLux-Decision en GPU NVIDIA: los archivos GGUF publicados se ejecutan en núcleos tensoriales int8 y de 4 bits a través de la API /v1/systemone, con hasta 5,3 veces menos latencia que vLLM en FP8 y respuestas idénticas bit a bit.
De maestro a mosaicos — un motor de destilación y servicio de LLM desde cero: kernels personalizados de Triton/CUDA, destilación FSDP, procesamiento por lotes continuo con KV paginado, decodificación especulativa, una puerta de enlace en Rust, un oráculo JAX y herramientas de interpretabilidad.
Xolotl: ejecuta DeepSeek-V4.1-Flash, con sus 552B parámetros completos, como agente de programación local en un solo PC gaming (RTX 4090 + 110 GB de RAM): ~33 tok/s como agente, ~41 en modo rápido y contexto de 512K. Además, Inkling-2-Mini (Thinking Machines, motor propio + generador de borradores MTP), GLM-5.3-Flash, Qwen3.8 y LFM3-Omni. Expertos MoE distribuidos por niveles entre la VRAM, la RAM y NVMe (Xolotl Direct). API de OpenAI + Anthropic.
Geniales papers de investigación sobre compresión de modelos de machine learning, cuantización, herramientas y material de aprendizaje.
Búsqueda semántica sin conexión de texto a imagen e imagen a imagen en Android, impulsada por un modelo CLIP preentrenado de vanguardia cuantificado y el motor de inferencia ONNX Runtime
KVarN es un backend nativo de vLLM para la cuantización de la caché KV de tus agentes: entre 3 y 5 veces más contexto, un rendimiento superior a FP16 y una precisión de nivel FP16. Sin calibración, un solo indicador.
Ablación totalmente sin censura y con capacidades mejoradas de Qwen3.6-27B. Decodificación especulativa NVFP4 + z-lab DFlash (n=12) en el contenedor unificado ghcr.io/aeon-7/aeon-vllm-ultimate:latest, optimizada para la aceptación de borradores en contextos largos en DGX Spark. 6 variantes de HF (BF16/NVFP4/MTP/MTP-XS), docker-compose y guía de inicio rápido.