Git Stars Git Stars

#quantization Репозитории

109
Всего репозиториев
487,465
Всего звезд
4,472
Среднее количество звезд на репозиторий
Языки программирования: Python C++ Kotlin JavaScript

Всего репозиториев: 109

101
StartLuxLabs/StartLux-Prism

Быстрый и точный вывод для моделей StartLux-Decision на GPU NVIDIA: опубликованные файлы GGUF работают на тензорных ядрах int8 и 4-битных ядрах через API /v1/systemone, обеспечивая в FP8 задержку до 5,3 раза ниже, чем у vLLM, при побитово идентичных ответах.

StartLuxLabs
⭐ 560 Python 👤 StartLuxLabs Organization 🕐 Обновлено 2026-10-27 📅 Создано 2026-10-13
102
zengxiao-he/tessera

От учителя к плиткам — движок дистилляции и обслуживания LLM, созданный с нуля: пользовательские ядра Triton/CUDA, дистилляция FSDP, пакетная обработка с непрерывным KV-кэшированием, спекулятивное декодирование, шлюз на Rust, оракул JAX и инструменты интерпретируемости.

zengxiao-he
⭐ 556 Python 👤 zengxiao-he User 🕐 Обновлено 2026-10-09 📅 Создано 2026-06-05
103
Indras-Mirror/Xolotl

Xolotl: запускайте DeepSeek-V4.1-Flash со всеми 552B параметров как локального агента для программирования на одном игровом ПК (RTX 4090 + 110 ГБ ОЗУ): около 33 токенов/с в режиме агента, около 41 в быстром режиме, контекст 512K. Также доступны Inkling-2-Mini (Thinking Machines, собственный движок + модуль создания черновиков MTP), GLM-5.3-Flash, Qwen3.8 и LFM3-Omni. Эксперты MoE распределяются по уровням между VRAM, ОЗУ и NVMe (Xolotl Direct). API OpenAI + Anthropic.

Indras-Mirror
⭐ 549 C++ 👤 Indras-Mirror User 🕐 Обновлено 2026-11-21 📅 Создано 2026-10-06
104
cedrickchee/awesome-ml-model-compression

Крутые исследовательские статьи по сжатию моделей машинного обучения, квантованию, инструментам и учебным материалам.

cedrickchee
⭐ 540 👤 cedrickchee User 🕐 Обновлено 2024-09-21 📅 Создано 2018-12-06
105
NVlabs/qerl

[ICLR 2026] QeRL позволяет применять RL для 32B LLM на одном GPU H100.

NVlabs
⭐ 527 Python 👤 NVlabs Organization 🕐 Обновлено 2026-11-16 📅 Создано 2025-09-22
106
slavabarkov/tidy

Офлайн-семантический поиск от текста к изображению и от изображения к изображению на Android с использованием квантованной передовой предварительно обученной CLIP-модели и механизма вывода ONNX Runtime

slavabarkov
⭐ 525 Kotlin 👤 slavabarkov User 🕐 Обновлено 2024-03-28 📅 Создано 2023-02-24
107
huawei-csl/KVarN

KVarN — это нативный бэкенд vLLM для квантования KV-кэша ваших агентов: в 3–5 раз больше контекста, пропускная способность выше FP16 и точность на уровне FP16. Без калибровки — всего один флаг.

huawei-csl
⭐ 521 Python 👤 huawei-csl Organization 🕐 Обновлено 2026-06-22 📅 Создано 2026-05-29
108
turboderp-org/exui

Веб-интерфейс для ExLlamaV2

turboderp-org
⭐ 513 JavaScript 👤 turboderp-org Organization 🕐 Обновлено 2025-02-05 📅 Создано 2023-10-29
109
AEON-7/Qwen3.6-27B-AEON-Ultimate-Uncensored-DFlash

Полностью нецензурированная версия Qwen3.6-27B с расширенными возможностями, полученная методом abliteration. Спекулятивное декодирование NVFP4 + z-lab DFlash (n=12) в унифицированном контейнере ghcr.io/aeon-7/aeon-vllm-ultimate:latest, настроенное на высокую приемку черновиков при длинном контексте на DGX Spark. 6 вариантов HF (BF16/NVFP4/MTP/MTP-XS), docker-compose и QuickStart.

AEON-7
⭐ 501 Python 👤 AEON-7 User 🕐 Обновлено 2026-11-13 📅 Создано 2026-04-25