Git Stars Git Stars

#quantization Repositórios

109
Total de Repositórios
487,465
Total de estrelas
4,472
Média de Estrelas/Repositório

109 repositórios no total

51
open-mmlab/mmrazor

Kit de Ferramentas e Benchmark de Compressão de Modelos OpenMMLab.

open-mmlab
⭐ 1,653 Python 👤 open-mmlab Organization 🕐 Atualizado 2024-06-11 📅 Criado 2021-12-22
52
PaddlePaddle/PaddleSlim

PaddleSlim é uma biblioteca de código aberto para compressão de modelos profundos e busca de arquitetura.

PaddlePaddle
⭐ 1,613 Python 👤 PaddlePaddle Organization 🕐 Atualizado 2026-01-04 📅 Criado 2019-12-16
53
pytorch/FBGEMM

FB (Facebook) + GEMM (General Matrix-Matrix Multiplication) - https://code.fb.com/ml-applications/fbgemm/

pytorch
⭐ 1,604 C++ 👤 pytorch Organization 🕐 Atualizado 2026-11-21 📅 Criado 2018-09-24
54
Xilinx/brevitas

Brevitas: quantização de rede neural em PyTorch

Xilinx
⭐ 1,601 Python 👤 Xilinx Organization 🕐 Atualizado 2026-11-21 📅 Criado 2018-07-10
55
tensorflow/model-optimization

Um kit de ferramentas para otimizar modelos de ML para implantação para Keras e TensorFlow, incluindo quantização e poda.

tensorflow
⭐ 1,584 Python 👤 tensorflow Organization 🕐 Atualizado 2026-11-20 📅 Criado 2018-10-31
56
RWKV/rwkv.cpp

Inferência INT4/INT5/INT8 e FP16 em CPU para o modelo de linguagem RWKV

RWKV
⭐ 1,570 C++ 👤 RWKV Organization 🕐 Atualizado 2025-03-23 📅 Criado 2023-03-30
57
AnswerDotAI/fsdp_qlora

Treinamento de LLMs com QLoRA + FSDP

AnswerDotAI
⭐ 1,534 Jupyter Notebook 👤 AnswerDotAI Organization 🕐 Atualizado 2024-11-09 📅 Criado 2024-01-14
58
synchopate/llama-modchip

Inferência em CPU sem GPU para modelos MoE de 30B–284B (Qwen3.8 176.5B certificado com cache fria no Cgroup v2 com 28,26/48,35 GiB, DeepSeek-V4 284B, Nemotron-30B) + RouteCrack 2.0.

synchopate
⭐ 1,398 Python 👤 synchopate User 🕐 Atualizado 2026-11-21 📅 Criado 2026-10-29
59
RahulSChand/gpu_poor

Calcule os requisitos de token/s e memória de GPU para qualquer LLM. Suporta quantização llama.cpp/ggml/bnb/QLoRA

RahulSChand
⭐ 1,383 JavaScript 👤 RahulSChand User 🕐 Atualizado 2024-12-03 📅 Criado 2023-09-12
60
open-edge-platform/geti

Crie, treine, otimize e execute modelos de visão computacional localmente, desde imagens brutas até inferência em tempo real. Código aberto, otimizado para Intel® XPU (CUDA também é compatível).

open-edge-platform
⭐ 1,379 Python 👤 open-edge-platform Organization 🕐 Atualizado 2026-11-21 📅 Criado 2018-10-26
62
huawei-noah/Efficient-Computing

Métodos de computação eficientes desenvolvidos pelo Huawei Noah's Ark Lab

huawei-noah
⭐ 1,306 Jupyter Notebook 👤 huawei-noah Organization 🕐 Atualizado 2024-11-05 📅 Criado 2019-09-04
63
ModelCloud/GPTQModel

Kit de ferramentas para quantização (compressão) de modelos LLM, com suporte à aceleração por hardware para Nvidia CUDA, AMD ROCm, Intel XPU, Tenstorrent, NPU Huawei Ascend e CPUs Intel/AMD/Apple via HF, vLLM e SGLang.

ModelCloud
⭐ 1,294 Python 👤 ModelCloud Organization 🕐 Atualizado 2026-11-21 📅 Criado 2024-06-17
64
thu-ml/SpargeAttn

[ICML2025] SpargeAttention: Uma atenção esparsa sem treinamento que acelera qualquer inferência de modelo.

thu-ml
⭐ 1,269 Cuda 👤 thu-ml Organization 🕐 Atualizado 2026-02-25 📅 Criado 2025-02-25
65
openvinotoolkit/nncf

Estrutura de Compressão de Rede Neural para inferência OpenVINO™ aprimorada

openvinotoolkit
⭐ 1,221 Python 👤 openvinotoolkit Organization 🕐 Atualizado 2026-11-18 📅 Criado 2020-05-13
66
gpu-mode/awesomeMLSys

Uma lista de integração de sistemas de ML

gpu-mode
⭐ 1,154 👤 gpu-mode Organization 🕐 Atualizado 2026-02-19 📅 Criado 2024-05-06
67
HarryR/z80ai

Z80-μLM é um modelo de linguagem quantificado de 2 bits pequeno o suficiente para rodar em um processador Z80 de 8 bits. Treine modelos de conversação em Python, exporte-os como binários CP/M .COM e converse com seu computador vintage.

HarryR
⭐ 1,141 Python 👤 HarryR User 🕐 Atualizado 2026-04-29 📅 Criado 2025-12-21
68
Xilinx/finn

Compilador Dataflow para inferência QNN em FPGAs

Xilinx
⭐ 1,093 Python 👤 Xilinx Organization 🕐 Atualizado 2026-11-21 📅 Criado 2018-06-29
69
hyperionaidev/smolmaxxing

Maximizar a capacidade de executar diferentes LLMs nos dispositivos mais pequenos possíveis

hyperionaidev
⭐ 1,079 C 👤 hyperionaidev Organization 🕐 Atualizado 2026-11-19 📅 Criado 2026-11-04
70
huggingface/optimum-quanto

Um backend de quantização pytorch para optimum

huggingface
⭐ 1,055 Python 👤 huggingface Organization 🕐 Atualizado 2026-11-17 📅 Criado 2023-09-19
71
darrencxl0301/StageRAG

Um projeto para a construção de sistemas RAG prontos para produção que minimizam alucinações, com pipelines comutáveis de 3 etapas (Velocidade) e 4 etapas (Precisão).

darrencxl0301
⭐ 1,036 Python 👤 darrencxl0301 User 🕐 Atualizado 2025-10-13 📅 Criado 2025-10-01
72
MAC-AutoML/MindPipe

Um framework poderoso de compressão de modelos para LLMs e LVLMs, adaptado para GPUs NVIDIA e NPUs Huawei Ascend.

MAC-AutoML
⭐ 1,013 Python 👤 MAC-AutoML Organization 🕐 Atualizado 2026-08-11 📅 Criado 2026-01-22
73
PINTO0309/onnx2tf

Uma ferramenta para converter arquivos ONNX para LiteRT/TFLite/TensorFlow, código nativo do PyTorch (nn.Module), TorchScript (.pt), state_dict (.pt), Exported Program (.pt2) e Dynamo ONNX. Também suporta conversão direta de LiteRT para PyTorch.

PINTO0309
⭐ 1,004 Python 👤 PINTO0309 User 🕐 Atualizado 2026-09-14 📅 Criado 2022-09-27
74
IST-DASLab/marlin

Kernel de inferência LLM FP16xINT4 que pode alcançar acelerações quase ideais de ~4x até tamanhos de lote médios de 16-32 tokens.

IST-DASLab
⭐ 973 Python 👤 IST-DASLab Organization 🕐 Atualizado 2024-09-04 📅 Criado 2024-01-17
75
OpenGVLab/OmniQuant

[Destaque ICLR2024] OmniQuant é uma técnica de quantização simples e poderosa para LLMs.

OpenGVLab
⭐ 970 Python 👤 OpenGVLab Organization 🕐 Atualizado 2025-11-26 📅 Criado 2023-08-22
76
dropbox/hqq

Implementação oficial da Quantização Semiquadrática (HQQ)

dropbox
⭐ 963 Python 👤 dropbox Organization 🕐 Atualizado 2026-02-26 📅 Criado 2023-11-07
77
ImageOptim/libimagequant

Biblioteca de quantização de paleta que impulsiona o pngquant e outros otimizadores de PNG

ImageOptim
⭐ 940 Rust 👤 ImageOptim Organization 🕐 Atualizado 2026-06-21 📅 Criado 2016-11-03
78
mit-han-lab/TinyChatEngine

TinyChatEngine: Biblioteca de Inferência de LLM no Dispositivo

mit-han-lab
⭐ 934 C++ 👤 mit-han-lab Organization 🕐 Atualizado 2024-07-04 📅 Criado 2023-05-24
79
facebookresearch/mobile-vision

Modelos e código de visão móvel

facebookresearch
⭐ 923 Python 👤 facebookresearch Organization 🕐 Atualizado 2026-10-21 📅 Criado 2019-01-09
80
mit-han-lab/tinyengine

[NeurIPS 2020] MCUNet: Aprendizagem Profunda Minúscula em Dispositivos IoT; [NeurIPS 2021] MCUNetV2: Inferência Baseada em Patches com Eficiência de Memória para Aprendizagem Profunda Minúscula; [NeurIPS 2022] MCUNetV3: Treinamento no Dispositivo com Menos de 256KB de Memória

mit-han-lab
⭐ 916 C 👤 mit-han-lab Organization 🕐 Atualizado 2024-11-27 📅 Criado 2022-08-24
81
amd/RyzenAI-SW

O Software AMD Ryzen™ AI inclui as ferramentas e bibliotecas de tempo de execução para otimizar e implantar a inferência de IA em PCs com tecnologia AMD Ryzen™ AI.

amd
⭐ 902 Python 👤 amd Organization 🕐 Atualizado 2026-11-18 📅 Criado 2023-05-12
82
whitecircle/halo

Halo é um framework de código aberto desenvolvido pela White Circle para treinar modelos de linguagem de grande escala e modelos multimodais

whitecircle
⭐ 868 Python 👤 whitecircle Organization 🕐 Atualizado 2026-11-21 📅 Criado 2026-08-26
83
IST-DASLab/sparsegpt

Código para o artigo da ICML 2023 "SparseGPT: Massive Language Models Can Be Accurately Pruned in One-Shot".

IST-DASLab
⭐ 859 Python 👤 IST-DASLab Organization 🕐 Atualizado 2024-08-20 📅 Criado 2023-03-20
84
mit-han-lab/omniserve

[MLSys'25] QServe: Quantização W4A8KV4 e Co-design de Sistema para Servir LLM de Forma Eficiente; [MLSys'25] LServe: Servir LLM de Sequência Longa de Forma Eficiente com Atenção Esparsa Unificada

mit-han-lab
⭐ 840 C++ 👤 mit-han-lab Organization 🕐 Atualizado 2025-03-06 📅 Criado 2024-05-06
85
warpfront/hipfire

Motor de inferência de LLM nativo RDNA em Rust.

warpfront
⭐ 826 Rust 👤 warpfront Organization 🕐 Atualizado 2026-11-21 📅 Criado 2026-03-21
86
Zhen-Dong/Awesome-Quantization-Papers

Lista de artigos relacionados à quantização de redes neurais nas recentes conferências e periódicos de IA.

Zhen-Dong
⭐ 825 👤 Zhen-Dong User 🕐 Atualizado 2025-03-27 📅 Criado 2022-01-01
87
datawhalechina/llm-algo-leetcode

Algoritmos e sistemas de LLM na prática com PyTorch, Triton e CUDA. «Tutorial de algoritmos e sistemas de LLM»: arquiteturas e treinamento de modelos, pós-treinamento, aceleração da inferência, otimização de desempenho e de operadores; inclui exercícios em Notebook, explicações das respostas, testes e experimentos.

datawhalechina
⭐ 811 Jupyter Notebook 👤 datawhalechina Organization 🕐 Atualizado 2026-11-16 📅 Criado 2026-04-01
88
huggingface/ratchet

Um framework de ML multiplataforma para navegador.

huggingface
⭐ 771 Rust 👤 huggingface Organization 🕐 Atualizado 2026-09-24 📅 Criado 2024-01-11
89
ModelTC/LightCompress

[EMNLP 2024 & AAAI 2026] Um kit de ferramentas poderoso para compactar grandes modelos, incluindo LLMs, VLMs e modelos generativos de vídeo.

ModelTC
⭐ 755 Python 👤 ModelTC Organization 🕐 Atualizado 2026-05-14 📅 Criado 2024-03-06
90
prabanta-dev/janas

37 tok/s com Qwen3-Next-80B (48 GB) num portátil com 32 GB; 24 sem rascunhos, contra 2,8 com llama.cpp; leitura a 62 contra 16 tok/s. Mais rápido que llama.cpp em todos os 13 modelos comparados em Q4_K_M. LLMs maiores do que a sua RAM, em C puro, para CPU ou GPU.

prabanta-dev
⭐ 738 C 👤 prabanta-dev Organization 🕐 Atualizado 2026-11-20 📅 Criado 2026-09-20
91
hailo-ai/hailo_model_zoo

O Hailo Model Zoo inclui modelos pré-treinados e um ambiente completo de construção e avaliação

hailo-ai
⭐ 725 Python 👤 hailo-ai Organization 🕐 Atualizado 2026-11-15 📅 Criado 2021-07-13
92
SqueezeAILab/SqueezeLLM

[ICML 2024] SqueezeLLM: Quantização Densa e Esparsa

SqueezeAILab
⭐ 710 Python 👤 SqueezeAILab Organization 🕐 Atualizado 2024-08-13 📅 Criado 2023-06-12
94
wanshuiyin/ARIS-in-AI-Offer

Guias bilíngues (chinês + inglês) de preparação para entrevistas de ML / LLM / diffusion / agentes para o recrutamento de outono em IA — gerados pelo ARIS /interview-cheatsheet e renderizados pelo /render-html em HTML de arquivo único, legível em qualquer lugar — além de um gerador de páginas acadêmicas com verificação de fatos por CV→DBLP e blogs longos escritos pelo próprio autor 🌱

wanshuiyin
⭐ 661 Python 👤 wanshuiyin User 🕐 Atualizado 2026-11-18 📅 Criado 2026-05-19
95
huawei-csl/SINQ

Bem-vindo ao repositório oficial do SINQ! Um método de quantização novo, rápido e de alta qualidade projetado para tornar qualquer Grande Modelo de Linguagem menor enquanto preserva a precisão [ICML 2026]

huawei-csl
⭐ 638 Python 👤 huawei-csl Organization 🕐 Atualizado 2026-05-08 📅 Criado 2025-09-26
96
ServiceStack/llms

Cliente LLM, API do Servidor e UI

ServiceStack
⭐ 631 JavaScript 👤 ServiceStack Organization 🕐 Atualizado 2026-11-21 📅 Criado 2025-09-23
97
hahnyuan/LLM-Viewer

Analise a inferência de Modelos de Linguagem Grandes (LLMs). Analise aspectos como computação, armazenamento, transmissão e o modelo de "hardware roofline" em uma interface amigável.

hahnyuan
⭐ 600 Python 👤 hahnyuan User 🕐 Atualizado 2024-09-11 📅 Criado 2024-01-07
98
google/qkeras

QKeras: uma biblioteca de aprendizado profundo quantizado para Tensorflow Keras

google
⭐ 583 Python 👤 google Organization 🕐 Atualizado 2026-02-23 📅 Criado 2019-08-06
99
MPolaris/onnx2tflite

Ferramenta para onnx->keras ou onnx->tflite. Espero que esta ferramenta possa te ajudar.

MPolaris
⭐ 577 Python 👤 MPolaris User 🕐 Atualizado 2026-06-21 📅 Criado 2022-04-11
100
csyhhu/Awesome-Deep-Neural-Network-Compression

Resumo, Código para Quantização de Rede Neural Profunda

csyhhu
⭐ 562 Python 👤 csyhhu User 🕐 Atualizado 2026-09-01 📅 Criado 2019-02-28