#quantization Репозитории
Откройте для себя 109 активных репозиториев с открытым исходным кодом на GitHub, отмеченных тегом #quantization, с общим числом 487,465 звёзд (в среднем 4,472 на проект). Лидером этой темы является hiyouga/LlamaFactory, набравший 76,171 звёзд.
Всего репозиториев: 109
Гибкая структура для изучения оптимизаций вывода/дообучения гетерогенных больших языковых моделей
Китайские большие языковые модели LLaMA & Alpaca + Локальное обучение и развертывание на CPU/GPU (Chinese LLaMA & Alpaca LLMs)
[🔥обновляется ...] AI Автоматический робот для количественной торговли (полностью локальное развертывание) Платформа для количественных исследований инвестиций на базе ИИ. 📃 онлайн-документация: https://ufund-me.github.io/Qbot ✨ :news: qbot-mini: https://github.com/Charmve/iQuant
Векторный индекс, построенный на TurboQuant, написанный на Rust с привязками к Python
Модель Kimi K3 с 2,78 триллионами параметров, выполняющая логический вывод на одном процессоре с 8,24 ГБ оперативной памяти. Портативный C99: без BLAS, без фреймворков, без GPU.
Доступные большие языковые модели через k-битную квантизацию для PyTorch.
Простая и эффективная генерация текста Transformer на основе Pytorch менее чем за 1000 строк кода Python.
Реализация языковой модели LLaMA на основе nanoGPT. Поддерживает flash attention, квантификацию Int8 и GPTQ 4bit, дообучение LoRA и LLaMA-Adapter, предварительное обучение. Лицензия Apache 2.0.
Компрессор PNG с потерями — команда pngquant на основе библиотеки libimagequant
fastllm — это высокопроизводительная библиотека для инференса больших языковых моделей, не зависящая от бэкенда. Она помогает эффективно запускать инференс на большинстве устройств.
Быстрая библиотека вывода для локального запуска LLM на современных потребительских GPU
Обмен знаниями об AI Infra и практика кода: PyTorch, vLLM/SGLang, введение в фреймворк slime/vime ⚡️, ускорение производительности 🚀, основы больших моделей 🧠, программное и аппаратное обеспечение ИИ 🔧 и т.д.
[ICLR2025, ICML2025, NeurIPS2025 Spotlight] Квантованное внимание (Quantized Attention) обеспечивает ускорение в 2–5 раз по сравнению с FlashAttention, не снижая сквозных (end-to-end) метрик для языковых, графических и видеомоделей.
Современное сжатие LLM, разработанное для промышленного инференса с использованием vLLM
[ICLR2025 Spotlight] SVDQuant: Поглощение выбросов компонентами низкого ранга для 4-битных диффузионных моделей
VILA — это семейство передовых моделей визуального языка (VLM) для различных мультимодальных задач искусственного интеллекта на периферии, в центрах обработки данных и в облаке.
Ваша шпаргалка для собеседования по инженерной разработке ИИ – Вопросы и ответы.
[MLSys 2024 Best Paper Award] AWQ: Активное квантование весов, осознанное активацией, для сжатия и ускорения LLM
🚀 Ускорьте вывод и обучение 🤗 Transformers, Diffusers, TIMM и Sentence Transformers с помощью простых в использовании инструментов аппаратной оптимизации
Форк llama.cpp с дополнительными SOTA квантами и улучшенной производительностью
Предобученная языковая модель и связанные с ней техники оптимизации, разработанные Huawei Noah's Ark Lab.
Запускайте GLM-5.3 (744B), DeepSeek-V4.1-Flash (748B), MiniMax-M3.1-Flash (428B), GLM-5.3-Flash (321B) и Hy4-Flash (220B) на собственных GPU — от 8 ГБ видеопамяти, с поддержкой NVIDIA и AMD, единой панелью управления и API, совместимым с OpenAI и Anthropic.
Быстро обслуживайте большие модели Qwen на тех GPU, которыми вы действительно располагаете. Qwen3.8-27B на одной карте объёмом 24 ГБ с vLLM: 127 ток/с для одного пользователя (381, когда ответ цитирует промпт), около 1 035 ток/с при 64 одновременных запросах, контекст 150k–262k. Патчи для vLLM, конвейер повторной квантизации и бенчмарки.
AIMET — это библиотека, предоставляющая передовые методы квантования и сжатия для обученных моделей нейронных сетей.
Передовое (SOTA) низкобитное квантование LLM (INT8/FP8/MXFP8/INT4/MXFP4/NVFP4) и разреженность; ведущие методы сжатия моделей на PyTorch, TensorFlow и ONNX Runtime
Создавайте, персонализируйте и управляйте собственными LLM. От предварительной обработки данных до тонкой настройки xTuring предлагает простой способ персонализации LLM с открытым исходным кодом. Присоединяйтесь к нашему сообществу Discord: https://discord.gg/TgHXuSJEk6
Запускайте модели Mixtral-8x7B в Colab или на потребительских настольных компьютерах
micronet, библиотека для сжатия моделей и развертывания. Сжатие: 1、квантование: обучение с учетом квантования(QAT), Высокий-бит(>2b)(DoReFa/Quantization and Training of Neural Networks for Efficient Integer-Arithmetic-Only Inference)、Низкий-бит(≤2b)/Тернарный и Бинарный(TWN/BNN/XNOR-Net); пост-обученное квантование(PTQ), 8-бит(tensorrt); 2、обрезка: обычная、регулярная и групповая обрезка каналов свертки; 3、структура групповой свертки; 4、слияние пакетной нормализации для квантования. Развертывание: tensorrt, fp32/fp16/in
Код для статьи ICLR 2023 "GPTQ: Accurate Post-training Quantization of Generative Pretrained Transformers".
Запустить LLM с 1 миллиардом параметров на плате стоимостью 10 долларов с 256 МБ ОЗУ.
Пакет Python для расширения официального PyTorch, который может легко обеспечить производительность на платформе Intel
Оптимизированная библиотека квантования и инференса для локального запуска LLM на современных потребительских GPU
Инструментарий для сжатия моделей, разработанный для повышения удобства использования, полноты и эффективности.
PPL Quantization Tool (PPQ) - это мощный автономный инструмент для квантования нейронных сетей.
Эффективность на уровне посттренировочной квантования, точность на уровне квантования с учетом обучения
Примеры использования ONNX Runtime для вывода моделей машинного обучения.
Часто задаваемые вопросы
Какой репозиторий по теме #quantization наиболее популярен на GitHub?
Самый высоко оценённый проект с открытым исходным кодом по теме #quantization на GitHub — hiyouga/LlamaFactory, набравший 76,171 звёзд. Единая эффективная тонкая настройка 100+ LLM и VLM (ACL 2024)
Какие языки программирования чаще всего используются в репозиториях по теме #quantization?
Среди наиболее высоко оценённых проектов по теме #quantization на GitHub чаще всего используются языки программирования Python, C++, Jupyter Notebook, C.
Как рассчитывается рейтинг репозиториев по теме #quantization?
Мы отслеживаем 109 активных репозиториев с открытым исходным кодом, отмеченных тегом #quantization (500 и более звёзд), с общим числом 487,465 звёзд и в среднем 4,472 звёзд на репозиторий. Рейтинги обновляются ежедневно на основе данных GitHub API.