#post-training-quantization Репозитории
Откройте для себя 12 активных репозиториев с открытым исходным кодом на GitHub, отмеченных тегом #post-training-quantization, с общим числом 21,589 звёзд (в среднем 1,799 на проект). Лидером этой темы является NVIDIA/Model-Optimizer, набравший 5,646 звёзд.
Всего репозиториев: 12
Единая библиотека методов оптимизации моделей SOTA, таких как квантование, дистилляция, прунинг, поиск нейронных архитектур, спекулятивное декодирование и т. д. Она сжимает модели глубокого обучения для последующих фреймворков развертывания, таких как TensorRT-LLM, TensorRT, vLLM и других, для оптимизации скорости вывода.
Передовое (SOTA) низкобитное квантование LLM (INT8/FP8/MXFP8/INT4/MXFP4/NVFP4) и разреженность; ведущие методы сжатия моделей на PyTorch, TensorFlow и ONNX Runtime
Подборка статей, бенчмарков, обзорных материалов и инструментов по квантованию моделей, охватывающая низкоразрядные сети, LLM, мультимодальные и генеративные модели, векторное и решёточное квантование, а также эффективное развертывание.
micronet, библиотека для сжатия моделей и развертывания. Сжатие: 1、квантование: обучение с учетом квантования(QAT), Высокий-бит(>2b)(DoReFa/Quantization and Training of Neural Networks for Efficient Integer-Arithmetic-Only Inference)、Низкий-бит(≤2b)/Тернарный и Бинарный(TWN/BNN/XNOR-Net); пост-обученное квантование(PTQ), 8-бит(tensorrt); 2、обрезка: обычная、регулярная и групповая обрезка каналов свертки; 3、структура групповой свертки; 4、слияние пакетной нормализации для квантования. Развертывание: tensorrt, fp32/fp16/in
Код для статьи ICLR 2023 "GPTQ: Accurate Post-training Quantization of Generative Pretrained Transformers".
[ICML 2023] SmoothQuant: Точная и эффективная послетренировочная квантизация для больших языковых моделей
TinyNeuralNetwork — это эффективный и простой в использовании фреймворк для сжатия моделей глубокого обучения.
Инструментарий сжатия моделей для больших языковых моделей и диффузионных моделей
Часто задаваемые вопросы
Какой репозиторий по теме #post-training-quantization наиболее популярен на GitHub?
Самый высоко оценённый проект с открытым исходным кодом по теме #post-training-quantization на GitHub — NVIDIA/Model-Optimizer, набравший 5,646 звёзд. Единая библиотека методов оптимизации моделей SOTA, таких как квантование, дистилляция, прунинг, поиск нейронных архитектур, спекулятивное декодирование и т. д. Она сжимает модели глубокого обучения для последующих фреймворков развертывания, таких как TensorRT-LLM, TensorRT, vLLM и других, для оптимизации скорости вывода.
Какие языки программирования чаще всего используются в репозиториях по теме #post-training-quantization?
Среди наиболее высоко оценённых проектов по теме #post-training-quantization на GitHub чаще всего используются языки программирования Python.
Как рассчитывается рейтинг репозиториев по теме #post-training-quantization?
Мы отслеживаем 12 активных репозиториев с открытым исходным кодом, отмеченных тегом #post-training-quantization (500 и более звёзд), с общим числом 21,589 звёзд и в среднем 1,799 звёзд на репозиторий. Рейтинги обновляются ежедневно на основе данных GitHub API.