#quantization Repositórios
109 repositórios no total
PaddleSlim é uma biblioteca de código aberto para compressão de modelos profundos e busca de arquitetura.
FB (Facebook) + GEMM (General Matrix-Matrix Multiplication) - https://code.fb.com/ml-applications/fbgemm/
Um kit de ferramentas para otimizar modelos de ML para implantação para Keras e TensorFlow, incluindo quantização e poda.
Inferência em CPU sem GPU para modelos MoE de 30B–284B (Qwen3.8 176.5B certificado com cache fria no Cgroup v2 com 28,26/48,35 GiB, DeepSeek-V4 284B, Nemotron-30B) + RouteCrack 2.0.
Calcule os requisitos de token/s e memória de GPU para qualquer LLM. Suporta quantização llama.cpp/ggml/bnb/QLoRA
Crie, treine, otimize e execute modelos de visão computacional localmente, desde imagens brutas até inferência em tempo real. Código aberto, otimizado para Intel® XPU (CUDA também é compatível).
Métodos de computação eficientes desenvolvidos pelo Huawei Noah's Ark Lab
Kit de ferramentas para quantização (compressão) de modelos LLM, com suporte à aceleração por hardware para Nvidia CUDA, AMD ROCm, Intel XPU, Tenstorrent, NPU Huawei Ascend e CPUs Intel/AMD/Apple via HF, vLLM e SGLang.
[ICML2025] SpargeAttention: Uma atenção esparsa sem treinamento que acelera qualquer inferência de modelo.
Z80-μLM é um modelo de linguagem quantificado de 2 bits pequeno o suficiente para rodar em um processador Z80 de 8 bits. Treine modelos de conversação em Python, exporte-os como binários CP/M .COM e converse com seu computador vintage.
Maximizar a capacidade de executar diferentes LLMs nos dispositivos mais pequenos possíveis
Um projeto para a construção de sistemas RAG prontos para produção que minimizam alucinações, com pipelines comutáveis de 3 etapas (Velocidade) e 4 etapas (Precisão).
Um framework poderoso de compressão de modelos para LLMs e LVLMs, adaptado para GPUs NVIDIA e NPUs Huawei Ascend.
Uma ferramenta para converter arquivos ONNX para LiteRT/TFLite/TensorFlow, código nativo do PyTorch (nn.Module), TorchScript (.pt), state_dict (.pt), Exported Program (.pt2) e Dynamo ONNX. Também suporta conversão direta de LiteRT para PyTorch.
Kernel de inferência LLM FP16xINT4 que pode alcançar acelerações quase ideais de ~4x até tamanhos de lote médios de 16-32 tokens.
[Destaque ICLR2024] OmniQuant é uma técnica de quantização simples e poderosa para LLMs.
Biblioteca de quantização de paleta que impulsiona o pngquant e outros otimizadores de PNG
[NeurIPS 2020] MCUNet: Aprendizagem Profunda Minúscula em Dispositivos IoT; [NeurIPS 2021] MCUNetV2: Inferência Baseada em Patches com Eficiência de Memória para Aprendizagem Profunda Minúscula; [NeurIPS 2022] MCUNetV3: Treinamento no Dispositivo com Menos de 256KB de Memória
O Software AMD Ryzen™ AI inclui as ferramentas e bibliotecas de tempo de execução para otimizar e implantar a inferência de IA em PCs com tecnologia AMD Ryzen™ AI.
Halo é um framework de código aberto desenvolvido pela White Circle para treinar modelos de linguagem de grande escala e modelos multimodais
Código para o artigo da ICML 2023 "SparseGPT: Massive Language Models Can Be Accurately Pruned in One-Shot".
[MLSys'25] QServe: Quantização W4A8KV4 e Co-design de Sistema para Servir LLM de Forma Eficiente; [MLSys'25] LServe: Servir LLM de Sequência Longa de Forma Eficiente com Atenção Esparsa Unificada
Lista de artigos relacionados à quantização de redes neurais nas recentes conferências e periódicos de IA.
Algoritmos e sistemas de LLM na prática com PyTorch, Triton e CUDA. «Tutorial de algoritmos e sistemas de LLM»: arquiteturas e treinamento de modelos, pós-treinamento, aceleração da inferência, otimização de desempenho e de operadores; inclui exercícios em Notebook, explicações das respostas, testes e experimentos.
[EMNLP 2024 & AAAI 2026] Um kit de ferramentas poderoso para compactar grandes modelos, incluindo LLMs, VLMs e modelos generativos de vídeo.
37 tok/s com Qwen3-Next-80B (48 GB) num portátil com 32 GB; 24 sem rascunhos, contra 2,8 com llama.cpp; leitura a 62 contra 16 tok/s. Mais rápido que llama.cpp em todos os 13 modelos comparados em Q4_K_M. LLMs maiores do que a sua RAM, em C puro, para CPU ou GPU.
O Hailo Model Zoo inclui modelos pré-treinados e um ambiente completo de construção e avaliação
Guias bilíngues (chinês + inglês) de preparação para entrevistas de ML / LLM / diffusion / agentes para o recrutamento de outono em IA — gerados pelo ARIS /interview-cheatsheet e renderizados pelo /render-html em HTML de arquivo único, legível em qualquer lugar — além de um gerador de páginas acadêmicas com verificação de fatos por CV→DBLP e blogs longos escritos pelo próprio autor 🌱
Bem-vindo ao repositório oficial do SINQ! Um método de quantização novo, rápido e de alta qualidade projetado para tornar qualquer Grande Modelo de Linguagem menor enquanto preserva a precisão [ICML 2026]
Analise a inferência de Modelos de Linguagem Grandes (LLMs). Analise aspectos como computação, armazenamento, transmissão e o modelo de "hardware roofline" em uma interface amigável.
Ferramenta para onnx->keras ou onnx->tflite. Espero que esta ferramenta possa te ajudar.
Resumo, Código para Quantização de Rede Neural Profunda