#model-quantization Repositórios
Descubra 59 repositórios ativos de código aberto no GitHub marcados com #model-quantization, acumulando um total de 217,873 estrelas (uma média de 3,692 por projeto). O líder deste tópico é zai-org/ChatGLM-6B, com 41,224 estrelas.
59 repositórios no total
[ICLR 2024] Ajuste Fino de LLaMA para Seguir Instruções em 1 Hora e 1,2M de Parâmetros
Uma biblioteca unificada de técnicas de otimização de modelos SOTA, como quantização, destilação, poda (pruning), busca de arquitetura neural, decodificação especulativa, etc. Ela comprime modelos de aprendizado profundo para frameworks de implantação downstream como TensorRT-LLM, TensorRT, vLLM, etc., para otimizar a velocidade de inferência.
Este é um guia passo a passo para modelos de IA/LLM de nível de entrada, incluindo tutoriais e código de demonstração, levando você do uso de APIs à implantação e ajuste fino de LLMs locais. Os arquivos de código estarão disponíveis em versões online para Kaggle ou Colab, permitindo o aprendizado mesmo sem uma GPU. O projeto também inclui um pequeno playground de código 🎡 onde você pode experimentar alguns scripts de IA interessantes. Além disso, contém os trabalhos de casa completos espelhados em chinês do curso 'Introdução à Inteligência Artificial Generativa 2024' de Hung-Yi Lee.
Este repositório registra principalmente perguntas de entrevistas relacionadas a engenheiros de algoritmos de Modelos de Linguagem Grandes (LLMs).
Uma coleção selecionada de artigos, benchmarks, revisões e ferramentas sobre quantização de modelos, abrangendo redes de poucos bits, LLMs, modelos multimodais e generativos, quantização vetorial e de reticulado, e implantação eficiente.
Receitas para reduzir, otimizar e personalizar modelos de visão de ponta. 💜
Trabalhos e ferramentas incríveis de pesquisa sobre compressão de LLM.
Múltiplas GPUs NVIDIA ou Apple Silicon para Inferência de Modelos de Linguagem Grandes?
O Vitis AI é a pilha de desenvolvimento da Xilinx para inferência de IA em plataformas de hardware Xilinx, incluindo dispositivos de borda e placas Alveo.
[SIGGRAPH Asia 2025] DreamO: Uma Estrutura Unificada para Personalização de Imagens
Uma série de grandes modelos de linguagem de código desenvolvidos pela PKU-KCL
[ICML 2023] SmoothQuant: Quantização Pós-Treinamento Precisa e Eficiente para Grandes Modelos de Linguagem
Modelos Grandes Inspirados no Cérebro com Spiking, integrando atenção híbrida eficiente, módulos MoE e codificação de spikes em sua arquitetura
Repositório oficial do Pytorch para Compressão Extrema de Grandes Modelos de Linguagem via Quantização Aditiva https://arxiv.org/pdf/2401.06118.pdf e PV-Tuning: Além da Estimação Straight-Through para Compressão Extrema de LLMs https://arxiv.org/abs/2405.14852
TinyMaix é uma biblioteca de inferência minúscula para microcontroladores (TinyML).
Os modelos Cosmos-Reason1 compreendem o senso comum físico e geram decisões incorporadas apropriadas em linguagem natural por meio de longos processos de raciocínio em cadeia de pensamento.
BlueLM(蓝心大模型): Modelos de linguagem de grande escala abertos desenvolvidos pelo vivo AI Lab
Implementação de um Grande Modelo de Linguagem (LLM) Chinês de pequeno porte, começando do zero.
Uma lista selecionada de projetos de código aberto relacionados ao DeepSeek Coder
Uma implementação extremamente rápida do whisper, otimizada para Apple Silicon usando MLX.
Tencent Hunyuan A13B (resumido como Hunyuan-A13B), um LLM inovador e de código aberto construído sobre uma arquitetura MoE de grão fino.
Caixa de Ferramentas de Compressão de Modelos para Grandes Modelos de Linguagem e Modelos de Difusão
Plataforma eficiente para inferência e serviço de LLMs locais, incluindo um servidor de API compatível com OpenAI.
Perguntas Frequentes
Qual é o repositório de #model-quantization mais popular no GitHub?
O projeto de código aberto de #model-quantization mais bem classificado no GitHub é zai-org/ChatGLM-6B, com 41,224 estrelas. ChatGLM-6B: Um Modelo de Linguagem de Diálogo Bilíngue de Código Aberto
Quais linguagens de programação são mais usadas nos repositórios de #model-quantization?
Entre os projetos de #model-quantization mais bem classificados no GitHub, as linguagens de programação mais comuns são Python, Jupyter Notebook, C, Makefile.
Como é calculada a classificação dos repositórios de #model-quantization?
Acompanhamos 59 repositórios ativos de código aberto marcados com #model-quantization (com mais de 500 estrelas), totalizando 217,873 estrelas e uma média de 3,692 estrelas por repositório. As classificações são atualizadas diariamente a partir da API do GitHub.