#quantization Репозитории
Всего репозиториев: 109
Быстрый и точный вывод для моделей StartLux-Decision на GPU NVIDIA: опубликованные файлы GGUF работают на тензорных ядрах int8 и 4-битных ядрах через API /v1/systemone, обеспечивая в FP8 задержку до 5,3 раза ниже, чем у vLLM, при побитово идентичных ответах.
От учителя к плиткам — движок дистилляции и обслуживания LLM, созданный с нуля: пользовательские ядра Triton/CUDA, дистилляция FSDP, пакетная обработка с непрерывным KV-кэшированием, спекулятивное декодирование, шлюз на Rust, оракул JAX и инструменты интерпретируемости.
Xolotl: запускайте DeepSeek-V4.1-Flash со всеми 552B параметров как локального агента для программирования на одном игровом ПК (RTX 4090 + 110 ГБ ОЗУ): около 33 токенов/с в режиме агента, около 41 в быстром режиме, контекст 512K. Также доступны Inkling-2-Mini (Thinking Machines, собственный движок + модуль создания черновиков MTP), GLM-5.3-Flash, Qwen3.8 и LFM3-Omni. Эксперты MoE распределяются по уровням между VRAM, ОЗУ и NVMe (Xolotl Direct). API OpenAI + Anthropic.
Крутые исследовательские статьи по сжатию моделей машинного обучения, квантованию, инструментам и учебным материалам.
Офлайн-семантический поиск от текста к изображению и от изображения к изображению на Android с использованием квантованной передовой предварительно обученной CLIP-модели и механизма вывода ONNX Runtime
KVarN — это нативный бэкенд vLLM для квантования KV-кэша ваших агентов: в 3–5 раз больше контекста, пропускная способность выше FP16 и точность на уровне FP16. Без калибровки — всего один флаг.
Полностью нецензурированная версия Qwen3.6-27B с расширенными возможностями, полученная методом abliteration. Спекулятивное декодирование NVFP4 + z-lab DFlash (n=12) в унифицированном контейнере ghcr.io/aeon-7/aeon-vllm-ultimate:latest, настроенное на высокую приемку черновиков при длинном контексте на DGX Spark. 6 вариантов HF (BF16/NVFP4/MTP/MTP-XS), docker-compose и QuickStart.