Git Stars Git Stars

#quantization Репозитории

Откройте для себя 109 активных репозиториев с открытым исходным кодом на GitHub, отмеченных тегом #quantization, с общим числом 487,465 звёзд (в среднем 4,472 на проект). Лидером этой темы является hiyouga/LlamaFactory, набравший 76,171 звёзд.

109
Всего репозиториев
487,465
Всего звезд
4,472
Среднее количество звезд на репозиторий
Языки программирования: Python C++ Jupyter Notebook C Rust Cuda Markdown

Всего репозиториев: 109

1
hiyouga/LlamaFactory

Единая эффективная тонкая настройка 100+ LLM и VLM (ACL 2024)

hiyouga
⭐ 76,171 Python 👤 hiyouga User 🕐 Обновлено 2026-11-21 📅 Создано 2023-05-28
2
xai-org/grok-1

Grok Open Release

xai-org
⭐ 50,567 Python 👤 xai-org Organization 🕐 Обновлено 2024-08-30 📅 Создано 2024-03-17
3
microsoft/BitNet

Официальная структура вывода для 1-битных LLM

microsoft
⭐ 42,358 C++ 👤 microsoft Organization 🕐 Обновлено 2026-07-27 📅 Создано 2024-08-05
4
SYSTRAN/faster-whisper

Более быстрая транскрипция Whisper с помощью CTranslate2

SYSTRAN
⭐ 26,924 Python 👤 SYSTRAN Organization 🕐 Обновлено 2026-11-12 📅 Создано 2023-02-11
5
kvcache-ai/ktransformers

Гибкая структура для изучения оптимизаций вывода/дообучения гетерогенных больших языковых моделей

kvcache-ai
⭐ 19,687 Python 👤 kvcache-ai Organization 🕐 Обновлено 2026-11-13 📅 Создано 2024-07-26
6
ymcui/Chinese-LLaMA-Alpaca

Китайские большие языковые модели LLaMA & Alpaca + Локальное обучение и развертывание на CPU/GPU (Chinese LLaMA & Alpaca LLMs)

ymcui
⭐ 18,915 Python 👤 ymcui User 🕐 Обновлено 2026-04-19 📅 Создано 2023-03-15
7
UFund-Me/Qbot

[🔥обновляется ...] AI Автоматический робот для количественной торговли (полностью локальное развертывание) Платформа для количественных исследований инвестиций на базе ИИ. 📃 онлайн-документация: https://ufund-me.github.io/Qbot ✨ :news: qbot-mini: https://github.com/Charmve/iQuant

UFund-Me
⭐ 18,849 Jupyter Notebook 👤 UFund-Me Organization 🕐 Обновлено 2026-03-11 📅 Создано 2022-11-23
8
RyanCodrai/turbovec

Векторный индекс, построенный на TurboQuant, написанный на Rust с привязками к Python

RyanCodrai
⭐ 17,505 Rust 👤 RyanCodrai User 🕐 Обновлено 2026-10-07 📅 Создано 2026-03-26
9
FareedKhan-dev/kimi-k3-in-c

Модель Kimi K3 с 2,78 триллионами параметров, выполняющая логический вывод на одном процессоре с 8,24 ГБ оперативной памяти. Портативный C99: без BLAS, без фреймворков, без GPU.

FareedKhan-dev
⭐ 12,523 C 👤 FareedKhan-dev User 🕐 Обновлено 2026-11-16 📅 Создано 2026-08-01
10
artidoro/qlora

QLoRA: Эффективная донастройка квантованных LLM

artidoro
⭐ 10,804 Jupyter Notebook 👤 artidoro User 🕐 Обновлено 2024-06-10 📅 Создано 2023-05-11
11
bitsandbytes-foundation/bitsandbytes

Доступные большие языковые модели через k-битную квантизацию для PyTorch.

bitsandbytes-foundation
⭐ 8,548 Python 👤 bitsandbytes-foundation Organization 🕐 Обновлено 2026-11-02 📅 Создано 2021-06-04
12
gpu-mode/lectures

Материалы для лекций в режиме gpu

gpu-mode
⭐ 7,109 Jupyter Notebook 👤 gpu-mode Organization 🕐 Обновлено 2026-09-09 📅 Создано 2024-01-20
13
meta-pytorch/gpt-fast

Простая и эффективная генерация текста Transformer на основе Pytorch менее чем за 1000 строк кода Python.

meta-pytorch
⭐ 6,244 Python 👤 meta-pytorch Organization 🕐 Обновлено 2025-08-22 📅 Создано 2023-10-17
14
Lightning-AI/lit-llama

Реализация языковой модели LLaMA на основе nanoGPT. Поддерживает flash attention, квантификацию Int8 и GPTQ 4bit, дообучение LoRA и LLaMA-Adapter, предварительное обучение. Лицензия Apache 2.0.

Lightning-AI
⭐ 6,084 Python 👤 Lightning-AI Organization 🕐 Обновлено 2025-07-01 📅 Создано 2023-03-22
15
kornelski/pngquant

Компрессор PNG с потерями — команда pngquant на основе библиотеки libimagequant

kornelski
⭐ 5,773 C 👤 kornelski User 🕐 Обновлено 2026-10-27 📅 Создано 2009-09-17
16
ztxz16/fastllm

fastllm — это высокопроизводительная библиотека для инференса больших языковых моделей, не зависящая от бэкенда. Она помогает эффективно запускать инференс на большинстве устройств.

ztxz16
⭐ 5,133 C++ 👤 ztxz16 User 🕐 Обновлено 2026-11-21 📅 Создано 2023-05-13
17
OpenNMT/CTranslate2

Быстрый движок вывода для моделей Transformer

OpenNMT
⭐ 4,758 C++ 👤 OpenNMT Organization 🕐 Обновлено 2026-11-21 📅 Создано 2019-09-23
18
turboderp-org/exllamav2

Быстрая библиотека вывода для локального запуска LLM на современных потребительских GPU

turboderp-org
⭐ 4,653 Python 👤 turboderp-org Organization 🕐 Обновлено 2026-03-04 📅 Создано 2023-08-30
19
CalvinXKY/InfraTech

Обмен знаниями об AI Infra и практика кода: PyTorch, vLLM/SGLang, введение в фреймворк slime/vime ⚡️, ускорение производительности 🚀, основы больших моделей 🧠, программное и аппаратное обеспечение ИИ 🔧 и т.д.

CalvinXKY
⭐ 4,411 Jupyter Notebook 👤 CalvinXKY User 🕐 Обновлено 2026-09-20 📅 Создано 2025-11-14
20
thu-ml/SageAttention

[ICLR2025, ICML2025, NeurIPS2025 Spotlight] Квантованное внимание (Quantized Attention) обеспечивает ускорение в 2–5 раз по сравнению с FlashAttention, не снижая сквозных (end-to-end) метрик для языковых, графических и видеомоделей.

thu-ml
⭐ 4,017 Cuda 👤 thu-ml Organization 🕐 Обновлено 2026-01-17 📅 Создано 2024-10-03
21
vllm-project/llm-compressor

Современное сжатие LLM, разработанное для промышленного инференса с использованием vLLM

vllm-project
⭐ 3,981 Python 👤 vllm-project Organization 🕐 Обновлено 2026-11-21 📅 Создано 2024-06-20
22
nunchux-ai/nunchaku

[ICLR2025 Spotlight] SVDQuant: Поглощение выбросов компонентами низкого ранга для 4-битных диффузионных моделей

nunchux-ai
⭐ 3,969 Python 👤 nunchux-ai Organization 🕐 Обновлено 2026-09-06 📅 Создано 2024-11-06
23
NVlabs/VILA

VILA — это семейство передовых моделей визуального языка (VLM) для различных мультимодальных задач искусственного интеллекта на периферии, в центрах обработки данных и в облаке.

NVlabs
⭐ 3,873 Python 👤 NVlabs Organization 🕐 Обновлено 2026-03-12 📅 Создано 2024-02-23
24
amitshekhariitbhu/ai-engineering-interview-questions

Ваша шпаргалка для собеседования по инженерной разработке ИИ – Вопросы и ответы.

amitshekhariitbhu
⭐ 3,707 Markdown 👤 amitshekhariitbhu User 🕐 Обновлено 2026-11-21 📅 Создано 2026-03-21
25
mit-han-lab/llm-awq

[MLSys 2024 Best Paper Award] AWQ: Активное квантование весов, осознанное активацией, для сжатия и ускорения LLM

mit-han-lab
⭐ 3,590 Python 👤 mit-han-lab Organization 🕐 Обновлено 2025-07-17 📅 Создано 2023-06-01
26
huggingface/optimum

🚀 Ускорьте вывод и обучение 🤗 Transformers, Diffusers, TIMM и Sentence Transformers с помощью простых в использовании инструментов аппаратной оптимизации

huggingface
⭐ 3,525 Python 👤 huggingface Organization 🕐 Обновлено 2026-11-16 📅 Создано 2021-07-20
27
ikawrakow/ik_llama.cpp

Форк llama.cpp с дополнительными SOTA квантами и улучшенной производительностью

ikawrakow
⭐ 3,411 C++ 👤 ikawrakow User 🕐 Обновлено 2026-11-21 📅 Создано 2024-06-27
28
huawei-noah/Pretrained-Language-Model

Предобученная языковая модель и связанные с ней техники оптимизации, разработанные Huawei Noah's Ark Lab.

huawei-noah
⭐ 3,152 Python 👤 huawei-noah Organization 🕐 Обновлено 2024-01-22 📅 Создано 2019-12-02
29
mw00/project-maya

Запускайте GLM-5.3 (744B), DeepSeek-V4.1-Flash (748B), MiniMax-M3.1-Flash (428B), GLM-5.3-Flash (321B) и Hy4-Flash (220B) на собственных GPU — от 8 ГБ видеопамяти, с поддержкой NVIDIA и AMD, единой панелью управления и API, совместимым с OpenAI и Anthropic.

mw00
⭐ 3,140 C++ 👤 mw00 User 🕐 Обновлено 2026-11-21 📅 Создано 2026-10-06
30
pytorch/ao

Нативная квантование PyTorch для обучения и вывода

pytorch
⭐ 3,032 Python 👤 pytorch Organization 🕐 Обновлено 2026-11-21 📅 Создано 2023-11-03
31
nunchux-ai/ComfyUI-nunchaku

Плагин ComfyUI от Nunchaku

nunchux-ai
⭐ 2,934 Python 👤 nunchux-ai Organization 🕐 Обновлено 2026-09-06 📅 Создано 2025-03-12
32
black-forest-labs/flux2

Официальный репозиторий для инференса моделей FLUX.2

black-forest-labs
⭐ 2,886 Python 👤 black-forest-labs Organization 🕐 Обновлено 2026-03-12 📅 Создано 2025-11-24
33
syv-ai/HyperQwen

Быстро обслуживайте большие модели Qwen на тех GPU, которыми вы действительно располагаете. Qwen3.8-27B на одной карте объёмом 24 ГБ с vLLM: 127 ток/с для одного пользователя (381, когда ответ цитирует промпт), около 1 035 ток/с при 64 одновременных запросах, контекст 150k–262k. Патчи для vLLM, конвейер повторной квантизации и бенчмарки.

syv-ai
⭐ 2,778 Python 👤 syv-ai Organization 🕐 Обновлено 2026-11-10 📅 Создано 2026-08-15
34
qualcomm/aimet

AIMET — это библиотека, предоставляющая передовые методы квантования и сжатия для обученных моделей нейронных сетей.

qualcomm
⭐ 2,748 Python 👤 qualcomm Organization 🕐 Обновлено 2026-11-21 📅 Создано 2020-04-21
35
intel/neural-compressor

Передовое (SOTA) низкобитное квантование LLM (INT8/FP8/MXFP8/INT4/MXFP4/NVFP4) и разреженность; ведущие методы сжатия моделей на PyTorch, TensorFlow и ONNX Runtime

intel
⭐ 2,733 Python 👤 intel Organization 🕐 Обновлено 2026-11-20 📅 Создано 2020-07-21
36
stochasticai/xTuring

Создавайте, персонализируйте и управляйте собственными LLM. От предварительной обработки данных до тонкой настройки xTuring предлагает простой способ персонализации LLM с открытым исходным кодом. Присоединяйтесь к нашему сообществу Discord: https://discord.gg/TgHXuSJEk6

stochasticai
⭐ 2,680 Python 👤 stochasticai Organization 🕐 Обновлено 2026-11-05 📅 Создано 2023-03-19
37
adithya-s-k/AI-Engineering.academy

Овладение прикладным ИИ, по одной концепции за раз

adithya-s-k
⭐ 2,388 Jupyter Notebook 👤 adithya-s-k User 🕐 Обновлено 2026-02-27 📅 Создано 2023-10-05
38
dvmazur/mixtral-offloading

Запускайте модели Mixtral-8x7B в Colab или на потребительских настольных компьютерах

dvmazur
⭐ 2,327 Python 👤 dvmazur User 🕐 Обновлено 2024-04-08 📅 Создано 2023-12-15
39
aixcoder-plugin/aiXcoder-7B

официальный репозиторий большой языковой модели кода aiXcoder-7B

aixcoder-plugin
⭐ 2,273 Python 👤 aixcoder-plugin Organization 🕐 Обновлено 2025-07-09 📅 Создано 2024-03-30
40
666DZY666/micronet

micronet, библиотека для сжатия моделей и развертывания. Сжатие: 1、квантование: обучение с учетом квантования(QAT), Высокий-бит(>2b)(DoReFa/Quantization and Training of Neural Networks for Efficient Integer-Arithmetic-Only Inference)、Низкий-бит(≤2b)/Тернарный и Бинарный(TWN/BNN/XNOR-Net); пост-обученное квантование(PTQ), 8-бит(tensorrt); 2、обрезка: обычная、регулярная и групповая обрезка каналов свертки; 3、структура групповой свертки; 4、слияние пакетной нормализации для квантования. Развертывание: tensorrt, fp32/fp16/in

666DZY666
⭐ 2,270 Python 👤 666DZY666 User 🕐 Обновлено 2025-05-06 📅 Создано 2019-12-04
41
IST-DASLab/gptq

Код для статьи ICLR 2023 "GPTQ: Accurate Post-training Quantization of Generative Pretrained Transformers".

IST-DASLab
⭐ 2,241 Python 👤 IST-DASLab Organization 🕐 Обновлено 2024-03-27 📅 Создано 2022-10-19
42
RightNow-AI/picolm

Запустить LLM с 1 миллиардом параметров на плате стоимостью 10 долларов с 256 МБ ОЗУ.

RightNow-AI
⭐ 2,218 C 👤 RightNow-AI Organization 🕐 Обновлено 2026-02-22 📅 Создано 2026-02-19
43
bigcode-project/starcoder2

Дом StarCoder2!

bigcode-project
⭐ 2,018 Python 👤 bigcode-project Organization 🕐 Обновлено 2024-03-21 📅 Создано 2023-12-08
44
intel/intel-extension-for-pytorch

Пакет Python для расширения официального PyTorch, который может легко обеспечить производительность на платформе Intel

intel
⭐ 2,012 Python 👤 intel Organization 🕐 Обновлено 2026-03-13 📅 Создано 2020-04-15
45
turboderp-org/exllamav3

Оптимизированная библиотека квантования и инференса для локального запуска LLM на современных потребительских GPU

turboderp-org
⭐ 1,853 Python 👤 turboderp-org Organization 🕐 Обновлено 2026-11-19 📅 Создано 2025-04-06
46
Tencent/AngelSlim

Инструментарий для сжатия моделей, разработанный для повышения удобства использования, полноты и эффективности.

Tencent
⭐ 1,811 Python 👤 Tencent Organization 🕐 Обновлено 2026-11-20 📅 Создано 2025-07-04
47
OpenPPL/ppq

PPL Quantization Tool (PPQ) - это мощный автономный инструмент для квантования нейронных сетей.

OpenPPL
⭐ 1,774 Python 👤 OpenPPL Organization 🕐 Обновлено 2024-03-28 📅 Создано 2021-12-30
48
Anemll/Anemll

Artificial Neural Engine Machine Learning Library

Anemll
⭐ 1,710 Python 👤 Anemll User 🕐 Обновлено 2026-10-31 📅 Создано 2025-01-06
49
intel/auto-round

Эффективность на уровне посттренировочной квантования, точность на уровне квантования с учетом обучения

intel
⭐ 1,706 Python 👤 intel Organization 🕐 Обновлено 2026-11-21 📅 Создано 2024-01-04
50
microsoft/onnxruntime-inference-examples

Примеры использования ONNX Runtime для вывода моделей машинного обучения.

microsoft
⭐ 1,703 C++ 👤 microsoft Organization 🕐 Обновлено 2026-11-10 📅 Создано 2021-04-09

Часто задаваемые вопросы

1

Какой репозиторий по теме #quantization наиболее популярен на GitHub?

Самый высоко оценённый проект с открытым исходным кодом по теме #quantization на GitHub — hiyouga/LlamaFactory, набравший 76,171 звёзд. Единая эффективная тонкая настройка 100+ LLM и VLM (ACL 2024)

2

Какие языки программирования чаще всего используются в репозиториях по теме #quantization?

Среди наиболее высоко оценённых проектов по теме #quantization на GitHub чаще всего используются языки программирования Python, C++, Jupyter Notebook, C.

3

Как рассчитывается рейтинг репозиториев по теме #quantization?

Мы отслеживаем 109 активных репозиториев с открытым исходным кодом, отмеченных тегом #quantization (500 и более звёзд), с общим числом 487,465 звёзд и в среднем 4,472 звёзд на репозиторий. Рейтинги обновляются ежедневно на основе данных GitHub API.