Git Stars Git Stars

#quantization Repositorios

109
Total de Repositorios
487,465
Total de estrellas
4,472
Promedio de Estrellas/Repo
Lenguajes de programación: Python C++ Kotlin JavaScript

109 repositorios en total

101
StartLuxLabs/StartLux-Prism

Inferencia rápida y exacta para los modelos StartLux-Decision en GPU NVIDIA: los archivos GGUF publicados se ejecutan en núcleos tensoriales int8 y de 4 bits a través de la API /v1/systemone, con hasta 5,3 veces menos latencia que vLLM en FP8 y respuestas idénticas bit a bit.

StartLuxLabs
⭐ 560 Python 👤 StartLuxLabs Organization 🕐 Actualizado 2026-10-27 📅 Creado 2026-10-13
102
zengxiao-he/tessera

De maestro a mosaicos — un motor de destilación y servicio de LLM desde cero: kernels personalizados de Triton/CUDA, destilación FSDP, procesamiento por lotes continuo con KV paginado, decodificación especulativa, una puerta de enlace en Rust, un oráculo JAX y herramientas de interpretabilidad.

zengxiao-he
⭐ 556 Python 👤 zengxiao-he User 🕐 Actualizado 2026-10-09 📅 Creado 2026-06-05
103
Indras-Mirror/Xolotl

Xolotl: ejecuta DeepSeek-V4.1-Flash, con sus 552B parámetros completos, como agente de programación local en un solo PC gaming (RTX 4090 + 110 GB de RAM): ~33 tok/s como agente, ~41 en modo rápido y contexto de 512K. Además, Inkling-2-Mini (Thinking Machines, motor propio + generador de borradores MTP), GLM-5.3-Flash, Qwen3.8 y LFM3-Omni. Expertos MoE distribuidos por niveles entre la VRAM, la RAM y NVMe (Xolotl Direct). API de OpenAI + Anthropic.

Indras-Mirror
⭐ 549 C++ 👤 Indras-Mirror User 🕐 Actualizado 2026-11-21 📅 Creado 2026-10-06
104
cedrickchee/awesome-ml-model-compression

Geniales papers de investigación sobre compresión de modelos de machine learning, cuantización, herramientas y material de aprendizaje.

cedrickchee
⭐ 540 👤 cedrickchee User 🕐 Actualizado 2024-09-21 📅 Creado 2018-12-06
105
NVlabs/qerl

[ICLR 2026] QeRL permite RL para LLMs de 32B en una sola GPU H100.

NVlabs
⭐ 527 Python 👤 NVlabs Organization 🕐 Actualizado 2026-11-16 📅 Creado 2025-09-22
106
slavabarkov/tidy

Búsqueda semántica sin conexión de texto a imagen e imagen a imagen en Android, impulsada por un modelo CLIP preentrenado de vanguardia cuantificado y el motor de inferencia ONNX Runtime

slavabarkov
⭐ 525 Kotlin 👤 slavabarkov User 🕐 Actualizado 2024-03-28 📅 Creado 2023-02-24
107
huawei-csl/KVarN

KVarN es un backend nativo de vLLM para la cuantización de la caché KV de tus agentes: entre 3 y 5 veces más contexto, un rendimiento superior a FP16 y una precisión de nivel FP16. Sin calibración, un solo indicador.

huawei-csl
⭐ 521 Python 👤 huawei-csl Organization 🕐 Actualizado 2026-06-22 📅 Creado 2026-05-29
108
turboderp-org/exui

Interfaz web para ExLlamaV2

turboderp-org
⭐ 513 JavaScript 👤 turboderp-org Organization 🕐 Actualizado 2025-02-05 📅 Creado 2023-10-29
109
AEON-7/Qwen3.6-27B-AEON-Ultimate-Uncensored-DFlash

Ablación totalmente sin censura y con capacidades mejoradas de Qwen3.6-27B. Decodificación especulativa NVFP4 + z-lab DFlash (n=12) en el contenedor unificado ghcr.io/aeon-7/aeon-vllm-ultimate:latest, optimizada para la aceptación de borradores en contextos largos en DGX Spark. 6 variantes de HF (BF16/NVFP4/MTP/MTP-XS), docker-compose y guía de inicio rápido.

AEON-7
⭐ 501 Python 👤 AEON-7 User 🕐 Actualizado 2026-11-13 📅 Creado 2026-04-25