Git Stars Git Stars

#quantization Репозитории

109
Всего репозиториев
487,465
Всего звезд
4,472
Среднее количество звезд на репозиторий
Языки программирования: Python C++ Jupyter Notebook C Rust JavaScript Cuda

Всего репозиториев: 109

51
open-mmlab/mmrazor

OpenMMLab Model Compression Toolbox и Benchmark.

open-mmlab
⭐ 1,653 Python 👤 open-mmlab Organization 🕐 Обновлено 2024-06-11 📅 Создано 2021-12-22
52
PaddlePaddle/PaddleSlim

PaddleSlim — это библиотека с открытым исходным кодом для сжатия глубоких моделей и поиска архитектур.

PaddlePaddle
⭐ 1,613 Python 👤 PaddlePaddle Organization 🕐 Обновлено 2026-01-04 📅 Создано 2019-12-16
53
pytorch/FBGEMM

FB (Facebook) + GEMM (Общее умножение матрицы на матрицу) - https://code.fb.com/ml-applications/fbgemm/

pytorch
⭐ 1,604 C++ 👤 pytorch Organization 🕐 Обновлено 2026-11-21 📅 Создано 2018-09-24
54
Xilinx/brevitas

Brevitas: Квантование нейронных сетей в PyTorch

Xilinx
⭐ 1,601 Python 👤 Xilinx Organization 🕐 Обновлено 2026-11-21 📅 Создано 2018-07-10
55
tensorflow/model-optimization

Набор инструментов для оптимизации моделей ML для развертывания в Keras и TensorFlow, включая квантизацию и обрезку.

tensorflow
⭐ 1,584 Python 👤 tensorflow Organization 🕐 Обновлено 2026-11-20 📅 Создано 2018-10-31
56
RWKV/rwkv.cpp

INT4/INT5/INT8 и FP16 инференс на CPU для языковой модели RWKV

RWKV
⭐ 1,570 C++ 👤 RWKV Organization 🕐 Обновлено 2025-03-23 📅 Создано 2023-03-30
57
AnswerDotAI/fsdp_qlora

Обучение LLM с помощью QLoRA + FSDP

AnswerDotAI
⭐ 1,534 Jupyter Notebook 👤 AnswerDotAI Organization 🕐 Обновлено 2024-11-09 📅 Создано 2024-01-14
58
synchopate/llama-modchip

Инференс на CPU без GPU для MoE-моделей размером 30B–284B (Qwen3.8 176.5B сертифицирован в режиме холодного кэша в Cgroup v2 с объёмом 28,26/48,35 ГиБ, DeepSeek-V4 284B, Nemotron-30B) + RouteCrack 2.0.

synchopate
⭐ 1,398 Python 👤 synchopate User 🕐 Обновлено 2026-11-21 📅 Создано 2026-10-29
59
RahulSChand/gpu_poor

Рассчитайте требования к памяти GPU/токену/с для любого LLM. Поддерживает квантование llama.cpp/ggml/bnb/QLoRA

RahulSChand
⭐ 1,383 JavaScript 👤 RahulSChand User 🕐 Обновлено 2024-12-03 📅 Создано 2023-09-12
60
open-edge-platform/geti

Создавайте, обучайте, оптимизируйте и запускайте модели компьютерного зрения локально — от исходных изображений до инференса в реальном времени. Открытый исходный код, оптимизация для Intel® XPU (также поддерживается CUDA).

open-edge-platform
⭐ 1,379 Python 👤 open-edge-platform Organization 🕐 Обновлено 2026-11-21 📅 Создано 2018-10-26
62
huawei-noah/Efficient-Computing

Эффективные методы вычислений, разработанные Huawei Noah's Ark Lab

huawei-noah
⭐ 1,306 Jupyter Notebook 👤 huawei-noah Organization 🕐 Обновлено 2024-11-05 📅 Создано 2019-09-04
63
ModelCloud/GPTQModel

Инструментарий для квантования (сжатия) моделей LLM с поддержкой аппаратного ускорения для Nvidia CUDA, AMD ROCm, Intel XPU, Tenstorrent, NPU Huawei Ascend и процессоров Intel/AMD/Apple через HF, vLLM и SGLang.

ModelCloud
⭐ 1,294 Python 👤 ModelCloud Organization 🕐 Обновлено 2026-11-21 📅 Создано 2024-06-17
64
thu-ml/SpargeAttn

[ICML2025] SpargeAttention: Обучаемая разреженная модель внимания, ускоряющая вывод любых моделей.

thu-ml
⭐ 1,269 Cuda 👤 thu-ml Organization 🕐 Обновлено 2026-02-25 📅 Создано 2025-02-25
65
openvinotoolkit/nncf

Фреймворк сжатия нейронных сетей для улучшенного инференса OpenVINO™

openvinotoolkit
⭐ 1,221 Python 👤 openvinotoolkit Organization 🕐 Обновлено 2026-11-18 📅 Создано 2020-05-13
66
gpu-mode/awesomeMLSys

Список адаптации ML-систем

gpu-mode
⭐ 1,154 👤 gpu-mode Organization 🕐 Обновлено 2026-02-19 📅 Создано 2024-05-06
67
HarryR/z80ai

Z80-μLM — это 2-битная квантованная языковая модель, достаточно маленькая для работы на 8-битном процессоре Z80. Обучайте разговорные модели на Python, экспортируйте их как двоичные файлы CP/M .COM и общайтесь со своим винтажным компьютером.

HarryR
⭐ 1,141 Python 👤 HarryR User 🕐 Обновлено 2026-04-29 📅 Создано 2025-12-21
68
Xilinx/finn

Компилятор потоков данных для вывода QNN на FPGA

Xilinx
⭐ 1,093 Python 👤 Xilinx Organization 🕐 Обновлено 2026-11-21 📅 Создано 2018-06-29
69
hyperionaidev/smolmaxxing

Максимальное увеличение возможностей запуска различных LLM на самых компактных устройствах

hyperionaidev
⭐ 1,079 C 👤 hyperionaidev Organization 🕐 Обновлено 2026-11-19 📅 Создано 2026-11-04
70
huggingface/optimum-quanto

Квантово-счетчиковый бэкенд PyTorch для Optimum

huggingface
⭐ 1,055 Python 👤 huggingface Organization 🕐 Обновлено 2026-11-17 📅 Создано 2023-09-19
71
darrencxl0301/StageRAG

План для создания готовых к производству RAG-систем, минимизирующих галлюцинации, с переключаемыми 3-ступенчатыми (Скорость) и 4-ступенчатыми (Точность) конвейерами.

darrencxl0301
⭐ 1,036 Python 👤 darrencxl0301 User 🕐 Обновлено 2025-10-13 📅 Создано 2025-10-01
72
MAC-AutoML/MindPipe

Мощный фреймворк для сжатия моделей для LLM и LVLMs, адаптированный для GPU NVIDIA и NPU Huawei Ascend.

MAC-AutoML
⭐ 1,013 Python 👤 MAC-AutoML Organization 🕐 Обновлено 2026-08-11 📅 Создано 2026-01-22
73
PINTO0309/onnx2tf

Инструмент для конвертации файлов ONNX в LiteRT/TFLite/TensorFlow, нативный код PyTorch (nn.Module), TorchScript (.pt), state_dict (.pt), Exported Program (.pt2) и Dynamo ONNX. Также поддерживает прямую конвертацию из LiteRT в PyTorch.

PINTO0309
⭐ 1,004 Python 👤 PINTO0309 User 🕐 Обновлено 2026-09-14 📅 Создано 2022-09-27
74
IST-DASLab/marlin

Ядро вывода LLM FP16xINT4, которое может обеспечить почти идеальное ускорение примерно в 4 раза при средних размерах пакетов от 16 до 32 токенов.

IST-DASLab
⭐ 973 Python 👤 IST-DASLab Organization 🕐 Обновлено 2024-09-04 📅 Создано 2024-01-17
75
OpenGVLab/OmniQuant

[ICLR2024 Spotlight] OmniQuant — это простая и мощная техника квантования для LLM.

OpenGVLab
⭐ 970 Python 👤 OpenGVLab Organization 🕐 Обновлено 2025-11-26 📅 Создано 2023-08-22
76
dropbox/hqq

Официальная реализация Half-Quadratic Quantization (HQQ)

dropbox
⭐ 963 Python 👤 dropbox Organization 🕐 Обновлено 2026-02-26 📅 Создано 2023-11-07
77
ImageOptim/libimagequant

Библиотека квантования палитры, которая питает pngquant и другие оптимизаторы PNG

ImageOptim
⭐ 940 Rust 👤 ImageOptim Organization 🕐 Обновлено 2026-06-21 📅 Создано 2016-11-03
78
mit-han-lab/TinyChatEngine

TinyChatEngine: Библиотека для инференса LLM на устройстве

mit-han-lab
⭐ 934 C++ 👤 mit-han-lab Organization 🕐 Обновлено 2024-07-04 📅 Создано 2023-05-24
79
facebookresearch/mobile-vision

Модели мобильного зрения и код

facebookresearch
⭐ 923 Python 👤 facebookresearch Organization 🕐 Обновлено 2026-10-21 📅 Создано 2019-01-09
80
mit-han-lab/tinyengine

[NeurIPS 2020] MCUNet: Малое глубокое обучение на устройствах Интернета вещей; [NeurIPS 2021] MCUNetV2: Эффективный по памяти патч-основанный вывод для малого глубокого обучения; [NeurIPS 2022] MCUNetV3: Обучение на устройстве при памяти менее 256 КБ

mit-han-lab
⭐ 916 C 👤 mit-han-lab Organization 🕐 Обновлено 2024-11-27 📅 Создано 2022-08-24
81
amd/RyzenAI-SW

AMD Ryzen™ AI Software включает инструменты и библиотеки времени выполнения для оптимизации и развертывания вывода ИИ на ПК с поддержкой AMD Ryzen™ AI.

amd
⭐ 902 Python 👤 amd Organization 🕐 Обновлено 2026-11-18 📅 Создано 2023-05-12
82
whitecircle/halo

Halo — это фреймворк с открытым исходным кодом, разработанный White Circle для обучения больших языковых и мультимодальных моделей

whitecircle
⭐ 868 Python 👤 whitecircle Organization 🕐 Обновлено 2026-11-21 📅 Создано 2026-08-26
83
IST-DASLab/sparsegpt

Код для статьи ICML 2023 «SparseGPT: Massive Language Models Can Be Accurately Pruned in One-Shot».

IST-DASLab
⭐ 859 Python 👤 IST-DASLab Organization 🕐 Обновлено 2024-08-20 📅 Создано 2023-03-20
84
mit-han-lab/omniserve

[MLSys'25] QServe: W4A8KV4 Квантование и совместное проектирование системы для эффективной подачи LLM; [MLSys'25] LServe: Эффективная подача LLM для длинных последовательностей с унифицированным разреженным вниманием

mit-han-lab
⭐ 840 C++ 👤 mit-han-lab Organization 🕐 Обновлено 2025-03-06 📅 Создано 2024-05-06
85
warpfront/hipfire

Движок вывода LLM, нативный для RDNA, на Rust.

warpfront
⭐ 826 Rust 👤 warpfront Organization 🕐 Обновлено 2026-11-21 📅 Создано 2026-03-21
86
Zhen-Dong/Awesome-Quantization-Papers

Список статей, посвященных квантованию нейронных сетей на недавних конференциях и в журналах по ИИ.

Zhen-Dong
⭐ 825 👤 Zhen-Dong User 🕐 Обновлено 2025-03-27 📅 Создано 2022-01-01
87
datawhalechina/llm-algo-leetcode

Практическое изучение алгоритмов и систем LLM с PyTorch, Triton и CUDA. «Руководство по алгоритмам и системам LLM»: архитектуры моделей и обучение, постобучение, ускорение инференса, оптимизация производительности и операторов; включает задания в Notebook, разбор ответов, тесты и эксперименты.

datawhalechina
⭐ 811 Jupyter Notebook 👤 datawhalechina Organization 🕐 Обновлено 2026-11-16 📅 Создано 2026-04-01
88
huggingface/ratchet

Кроссплатформенный ML-фреймворк для браузеров.

huggingface
⭐ 771 Rust 👤 huggingface Organization 🕐 Обновлено 2026-09-24 📅 Создано 2024-01-11
89
ModelTC/LightCompress

[EMNLP 2024 & AAAI 2026] Мощный набор инструментов для сжатия больших моделей, включая LLM, VLM и модели генерации видео.

ModelTC
⭐ 755 Python 👤 ModelTC Organization 🕐 Обновлено 2026-05-14 📅 Создано 2024-03-06
90
prabanta-dev/janas

37 ток/с на Qwen3-Next-80B (48 ГБ) на ноутбуке с 32 ГБ памяти; 24 ток/с без черновой генерации против 2,8 у llama.cpp; скорость чтения — 62 против 16 ток/с. Быстрее llama.cpp на всех 13 моделях, сравнивавшихся в Q4_K_M. Запускайте LLM, превышающие объём вашей RAM, на чистом C — на CPU или GPU.

prabanta-dev
⭐ 738 C 👤 prabanta-dev Organization 🕐 Обновлено 2026-11-20 📅 Создано 2026-09-20
91
hailo-ai/hailo_model_zoo

Model Zoo Hailo включает предварительно обученные модели и полную среду для сборки и оценки

hailo-ai
⭐ 725 Python 👤 hailo-ai Organization 🕐 Обновлено 2026-11-15 📅 Создано 2021-07-13
92
SqueezeAILab/SqueezeLLM

[ICML 2024] SqueezeLLM: Плотная и разреженная квантизация

SqueezeAILab
⭐ 710 Python 👤 SqueezeAILab Organization 🕐 Обновлено 2024-08-13 📅 Создано 2023-06-12
94
wanshuiyin/ARIS-in-AI-Offer

Двуязычные (китайский + английский) шпаргалки для собеседований по ML / LLM / diffusion / agent в рамках осеннего набора специалистов по ИИ — созданы с помощью ARIS /interview-cheatsheet и преобразованы посредством /render-html в одnofайловый HTML, который можно читать где угодно, — а также генератор академических домашних страниц с проверкой фактов по CV→DBLP и самостоятельно написанные блоги большого объёма 🌱

wanshuiyin
⭐ 661 Python 👤 wanshuiyin User 🕐 Обновлено 2026-11-18 📅 Создано 2026-05-19
95
huawei-csl/SINQ

Добро пожаловать в официальный репозиторий SINQ! Новый, быстрый и высококачественный метод квантования, предназначенный для уменьшения любого Большой языковой модели при сохранении точности [ICML 2026]

huawei-csl
⭐ 638 Python 👤 huawei-csl Organization 🕐 Обновлено 2026-05-08 📅 Создано 2025-09-26
96
ServiceStack/llms

Клиент LLM, API сервера и UI

ServiceStack
⭐ 631 JavaScript 👤 ServiceStack Organization 🕐 Обновлено 2026-11-21 📅 Создано 2025-09-23
97
hahnyuan/LLM-Viewer

Анализируйте вывод больших языковых моделей (LLM). Анализируйте такие аспекты, как вычисления, хранение данных, передача и модель аппаратных «потолков» (roofline model) в удобном пользовательском интерфейсе.

hahnyuan
⭐ 600 Python 👤 hahnyuan User 🕐 Обновлено 2024-09-11 📅 Создано 2024-01-07
98
google/qkeras

QKeras: библиотека глубокого обучения с квантованием для Tensorflow Keras

google
⭐ 583 Python 👤 google Organization 🕐 Обновлено 2026-02-23 📅 Создано 2019-08-06
99
MPolaris/onnx2tflite

Инструмент для onnx->keras или onnx->tflite. Надеюсь, этот инструмент будет вам полезен.

MPolaris
⭐ 577 Python 👤 MPolaris User 🕐 Обновлено 2026-06-21 📅 Создано 2022-04-11
100
csyhhu/Awesome-Deep-Neural-Network-Compression

Резюме, Код для квантования глубоких нейронных сетей

csyhhu
⭐ 562 Python 👤 csyhhu User 🕐 Обновлено 2026-09-01 📅 Создано 2019-02-28