#quantization Репозитории
Всего репозиториев: 109
PaddleSlim — это библиотека с открытым исходным кодом для сжатия глубоких моделей и поиска архитектур.
FB (Facebook) + GEMM (Общее умножение матрицы на матрицу) - https://code.fb.com/ml-applications/fbgemm/
Набор инструментов для оптимизации моделей ML для развертывания в Keras и TensorFlow, включая квантизацию и обрезку.
Инференс на CPU без GPU для MoE-моделей размером 30B–284B (Qwen3.8 176.5B сертифицирован в режиме холодного кэша в Cgroup v2 с объёмом 28,26/48,35 ГиБ, DeepSeek-V4 284B, Nemotron-30B) + RouteCrack 2.0.
Рассчитайте требования к памяти GPU/токену/с для любого LLM. Поддерживает квантование llama.cpp/ggml/bnb/QLoRA
Создавайте, обучайте, оптимизируйте и запускайте модели компьютерного зрения локально — от исходных изображений до инференса в реальном времени. Открытый исходный код, оптимизация для Intel® XPU (также поддерживается CUDA).
Эффективные методы вычислений, разработанные Huawei Noah's Ark Lab
Инструментарий для квантования (сжатия) моделей LLM с поддержкой аппаратного ускорения для Nvidia CUDA, AMD ROCm, Intel XPU, Tenstorrent, NPU Huawei Ascend и процессоров Intel/AMD/Apple через HF, vLLM и SGLang.
[ICML2025] SpargeAttention: Обучаемая разреженная модель внимания, ускоряющая вывод любых моделей.
Z80-μLM — это 2-битная квантованная языковая модель, достаточно маленькая для работы на 8-битном процессоре Z80. Обучайте разговорные модели на Python, экспортируйте их как двоичные файлы CP/M .COM и общайтесь со своим винтажным компьютером.
Максимальное увеличение возможностей запуска различных LLM на самых компактных устройствах
План для создания готовых к производству RAG-систем, минимизирующих галлюцинации, с переключаемыми 3-ступенчатыми (Скорость) и 4-ступенчатыми (Точность) конвейерами.
Мощный фреймворк для сжатия моделей для LLM и LVLMs, адаптированный для GPU NVIDIA и NPU Huawei Ascend.
Инструмент для конвертации файлов ONNX в LiteRT/TFLite/TensorFlow, нативный код PyTorch (nn.Module), TorchScript (.pt), state_dict (.pt), Exported Program (.pt2) и Dynamo ONNX. Также поддерживает прямую конвертацию из LiteRT в PyTorch.
Ядро вывода LLM FP16xINT4, которое может обеспечить почти идеальное ускорение примерно в 4 раза при средних размерах пакетов от 16 до 32 токенов.
[ICLR2024 Spotlight] OmniQuant — это простая и мощная техника квантования для LLM.
Библиотека квантования палитры, которая питает pngquant и другие оптимизаторы PNG
[NeurIPS 2020] MCUNet: Малое глубокое обучение на устройствах Интернета вещей; [NeurIPS 2021] MCUNetV2: Эффективный по памяти патч-основанный вывод для малого глубокого обучения; [NeurIPS 2022] MCUNetV3: Обучение на устройстве при памяти менее 256 КБ
AMD Ryzen™ AI Software включает инструменты и библиотеки времени выполнения для оптимизации и развертывания вывода ИИ на ПК с поддержкой AMD Ryzen™ AI.
Halo — это фреймворк с открытым исходным кодом, разработанный White Circle для обучения больших языковых и мультимодальных моделей
Код для статьи ICML 2023 «SparseGPT: Massive Language Models Can Be Accurately Pruned in One-Shot».
[MLSys'25] QServe: W4A8KV4 Квантование и совместное проектирование системы для эффективной подачи LLM; [MLSys'25] LServe: Эффективная подача LLM для длинных последовательностей с унифицированным разреженным вниманием
Список статей, посвященных квантованию нейронных сетей на недавних конференциях и в журналах по ИИ.
Практическое изучение алгоритмов и систем LLM с PyTorch, Triton и CUDA. «Руководство по алгоритмам и системам LLM»: архитектуры моделей и обучение, постобучение, ускорение инференса, оптимизация производительности и операторов; включает задания в Notebook, разбор ответов, тесты и эксперименты.
[EMNLP 2024 & AAAI 2026] Мощный набор инструментов для сжатия больших моделей, включая LLM, VLM и модели генерации видео.
37 ток/с на Qwen3-Next-80B (48 ГБ) на ноутбуке с 32 ГБ памяти; 24 ток/с без черновой генерации против 2,8 у llama.cpp; скорость чтения — 62 против 16 ток/с. Быстрее llama.cpp на всех 13 моделях, сравнивавшихся в Q4_K_M. Запускайте LLM, превышающие объём вашей RAM, на чистом C — на CPU или GPU.
Model Zoo Hailo включает предварительно обученные модели и полную среду для сборки и оценки
Двуязычные (китайский + английский) шпаргалки для собеседований по ML / LLM / diffusion / agent в рамках осеннего набора специалистов по ИИ — созданы с помощью ARIS /interview-cheatsheet и преобразованы посредством /render-html в одnofайловый HTML, который можно читать где угодно, — а также генератор академических домашних страниц с проверкой фактов по CV→DBLP и самостоятельно написанные блоги большого объёма 🌱
Добро пожаловать в официальный репозиторий SINQ! Новый, быстрый и высококачественный метод квантования, предназначенный для уменьшения любого Большой языковой модели при сохранении точности [ICML 2026]
Анализируйте вывод больших языковых моделей (LLM). Анализируйте такие аспекты, как вычисления, хранение данных, передача и модель аппаратных «потолков» (roofline model) в удобном пользовательском интерфейсе.
Инструмент для onnx->keras или onnx->tflite. Надеюсь, этот инструмент будет вам полезен.
Резюме, Код для квантования глубоких нейронных сетей