#quantization Repositórios
Descubra 109 repositórios ativos de código aberto no GitHub marcados com #quantization, acumulando um total de 487,465 estrelas (uma média de 4,472 por projeto). O líder deste tópico é hiyouga/LlamaFactory, com 76,171 estrelas.
109 repositórios no total
Um Framework Flexível para Experimentar Otimizações de Inferência/Ajuste Fino de LLM Heterogêneos
Modelos de Grande Linguagem LLaMA e Alpaca Chineses + Treinamento e Implantação Local em CPU/GPU (Chinese LLaMA & Alpaca LLMs)
[🔥atualizando ...] Robô de Negociação Quantitativa Automática com IA (implantação totalmente local) Plataforma de Pesquisa de Investimento Quantitativa Alimentada por IA. 📃 documentação online: https://ufund-me.github.io/Qbot ✨ :notícias: qbot-mini: https://github.com/Charmve/iQuant
Um índice vetorial construído sobre TurboQuant, escrito em Rust com bindings Python
Um modelo Kimi K3 de 2,78 trilhões de parâmetros executando inferência em uma única CPU com 8,24 GB de RAM. C99 portátil: sem BLAS, sem framework, sem GPU.
Modelos de linguagem grandes acessíveis via quantização k-bit para PyTorch.
Geração de texto transformador nativo de PyTorch, simples e eficiente, em <1000 LOC de Python.
Implementação do modelo de linguagem LLaMA baseado no nanoGPT. Suporta flash attention, quantização Int8 e GPTQ de 4 bits, ajuste fino LoRA e LLaMA-Adapter, e pré-treinamento. Licenciado sob Apache 2.0.
Compressor PNG com perdas — comando pngquant baseado na biblioteca libimagequant
fastllm é uma biblioteca de inferência de modelos de linguagem grandes de alto desempenho, sem dependências de backend, que ajuda você a executar inferências com eficiência na maioria dos dispositivos.
Uma biblioteca de inferência rápida para executar LLMs localmente em GPUs de classe de consumidor modernas
Compartilhamento de conhecimento de AI Infra e prática de código: PyTorch, vLLM/SGLang, introdução ao framework slime/vime ⚡️, aceleração de desempenho 🚀, fundamentos de modelos grandes 🧠, software e hardware de IA 🔧, etc.
[ICLR2025, ICML2025, NeurIPS2025 Spotlight] O Quantized Attention (Atenção Quantizada) alcança uma aceleração de 2 a 5 vezes em comparação com o FlashAttention, sem perder métricas de ponta a ponta em modelos de linguagem, imagem e vídeo.
Compressão de LLM de última geração, desenvolvida para inferência em produção com vLLM
[Destaque ICLR2025] SVDQuant: Absorvendo Outliers por Componentes de Baixa Patente para Modelos de Difusão de 4 Bits
VILA é uma família de modelos de linguagem e visão (VLMs) de última geração para diversas tarefas de IA multimodal em edge, data center e nuvem.
Sua Folha de Referência para Entrevista de Engenharia de IA – Perguntas e Respostas.
[Prêmio de Melhor Artigo MLSys 2024] AWQ: Quantização de Pesos Ciente de Ativação para Compressão e Aceleração de LLM
🚀 Acelere a inferência e o treinamento de 🤗 Transformers, Diffusers, TIMM e Sentence Transformers com ferramentas de otimização de hardware fáceis de usar
Modelo de linguagem pré-treinado e suas técnicas de otimização relacionadas desenvolvidas pelo Huawei Noah's Ark Lab.
Execute GLM-5.3 (744B), DeepSeek-V4.1-Flash (748B), MiniMax-M3.1-Flash (428B), GLM-5.3-Flash (321B) e Hy4-Flash (220B) nas suas próprias GPUs — a partir de 8 GB de VRAM, com suporte para NVIDIA e AMD, um único painel e uma API compatível com OpenAI e Anthropic.
Execute modelos Qwen grandes rapidamente nas GPUs que você realmente possui. Qwen3.8-27B em uma única placa de 24 GB com vLLM: 127 tok/s para um único usuário (381 quando a resposta cita o prompt), cerca de 1.035 tok/s com 64 requisições simultâneas e contexto de 150k–262k. Patches do vLLM, pipeline de requantização e benchmarks.
AIMET é uma biblioteca que fornece técnicas avançadas de quantização e compressão para modelos de redes neurais treinadas.
Quantização LLM de baixo bit SOTA (INT8/FP8/MXFP8/INT4/MXFP4/NVFP4) e esparsidade; técnicas líderes de compressão de modelos em PyTorch, TensorFlow e ONNX Runtime
Construa, personalize e controle seus próprios LLMs. Desde o pré-processamento de dados até o ajuste fino (fine-tuning), o xTuring oferece uma maneira fácil de personalizar LLMs de código aberto. Junte-se à nossa comunidade no Discord: https://discord.gg/TgHXuSJEk6
repositório oficial do Modelo de Linguagem Grande de Código aiXcoder-7B
micronet, uma biblioteca de compressão e implantação de modelos. compressão: 1、quantização: treinamento ciente de quantização (QAT), High-Bit(>2b)(DoReFa/Quantization and Training of Neural Networks for Efficient Integer-Arithmetic-Only Inference), Low-Bit(≤2b)/Ternary and Binary(TWN/BNN/XNOR-Net); quantização pós-treinamento (PTQ), 8-bit(tensorrt); 2、 poda: poda de canal de convolução normal, regular e em grupo; 3、 estrutura de convolução em grupo; 4、 fusão de normalização em lote para quantização. implantação: tensorrt, fp32/fp16/in
Código para o artigo da ICLR 2023 "GPTQ: Quantização Pós-Treinamento Precisa de Transformers Generativos Pré-treinados".
Execute um LLM de 1 bilhão de parâmetros em uma placa de 10 dólares com 256 MB de RAM.
Um pacote Python para estender o PyTorch oficial que pode facilmente obter desempenho na plataforma Intel
Uma biblioteca otimizada de quantização e inferência para executar LLMs localmente em GPUs modernas de classe de consumidor
Kit de ferramentas de compressão de modelos projetado para maior usabilidade, abrangência e eficiência.
PPL Quantization Tool (PPQ) é uma poderosa ferramenta de quantização de rede neural offline.
Eficiência da quantização pós-treinamento, precisão da quantização com treinamento consciente
Exemplos de uso do ONNX Runtime para inferência de aprendizado de máquina.
Perguntas Frequentes
Qual é o repositório de #quantization mais popular no GitHub?
O projeto de código aberto de #quantization mais bem classificado no GitHub é hiyouga/LlamaFactory, com 76,171 estrelas. Ajuste Fino Unificado e Eficiente de Mais de 100 LLMs e VLMs (ACL 2024)
Quais linguagens de programação são mais usadas nos repositórios de #quantization?
Entre os projetos de #quantization mais bem classificados no GitHub, as linguagens de programação mais comuns são Python, C++, Jupyter Notebook, C.
Como é calculada a classificação dos repositórios de #quantization?
Acompanhamos 109 repositórios ativos de código aberto marcados com #quantization (com mais de 500 estrelas), totalizando 487,465 estrelas e uma média de 4,472 estrelas por repositório. As classificações são atualizadas diariamente a partir da API do GitHub.