#inference-optimization Repositórios
Descubra 41 repositórios ativos de código aberto no GitHub marcados com #inference-optimization, acumulando um total de 86,309 estrelas (uma média de 2,105 por projeto). O líder deste tópico é lllyasviel/stable-diffusion-webui-forge, com 12,902 estrelas.
41 repositórios no total
Ferramentas de infraestrutura de IA testadas em produção para o desenvolvimento eficiente de IGA e inovação impulsionada pela comunidade
[EMNLP'23, ACL'24] Para acelerar a inferência de LLMs e aprimorar a percepção de informações-chave dos LLMs, comprimir o prompt e o KV-Cache permite atingir até 20x de compressão com perda mínima de desempenho.
Qwen3.8 é uma série de modelos de linguagem de grande porte desenvolvida pela equipe Qwen do Alibaba Group.
Execute modelos Qwen grandes rapidamente nas GPUs que você realmente possui. Qwen3.8-27B em uma única placa de 24 GB com vLLM: 127 tok/s para um único usuário (381 quando a resposta cita o prompt), cerca de 1.035 tok/s com 64 requisições simultâneas e contexto de 150k–262k. Patches do vLLM, pipeline de requantização e benchmarks.
Operadores de inferência de rede neural de ponto flutuante de alta eficiência para dispositivos móveis, servidores e Web
MiMo: Desbloqueando o Potencial de Raciocínio do Modelo de Linguagem – Do Pré-treinamento ao Pós-treinamento
Este repositório contém perguntas de entrevista sobre LLM (Modelo de Linguagem Grande) feitas em grandes empresas como Google, Nvidia, Meta, Microsoft e companhias da Fortune 500.
https://wavespeed.ai/ [EM TRABALHO] A solução de otimização de inferência tudo-em-um para ComfyUI, universal, flexível e rápida.
Um tutorial mostrando como configurar a API de Detecção de Objetos do TensorFlow no Raspberry Pi
Receitas para escalar a computação em tempo de inferência de modelos abertos
Representação e Redução de Referência de Modelos ONNX na Infraestrutura do Compilador MLIR
Uma lista de artigos sobre trabalhos recentes de Compressão de Tokens para Vit e VLM
Modelo de fundação de vídeo em nível de indústria para geração unificada de texto para vídeo (T2V) e imagem para vídeo (I2V).
BladeDISC é um projeto de compilador dinâmico de forma ponta a ponta para cargas de trabalho de aprendizado de máquina.
Omni SenseVoice: Reconhecimento de Voz de Alta Velocidade com timestamps das palavras 🗣️🎯
Uma extensão para o stable-diffusion-webui para carregar modelos LyCORIS.
Algoritmos e sistemas de LLM na prática com PyTorch, Triton e CUDA. «Tutorial de algoritmos e sistemas de LLM»: arquiteturas e treinamento de modelos, pós-treinamento, aceleração da inferência, otimização de desempenho e de operadores; inclui exercícios em Notebook, explicações das respostas, testes e experimentos.
Cline versão localizada para chinês, Cline é um assistente de programação autônomo que é executado no seu IDE e que, com sua permissão, pode criar/editar arquivos, executar comandos, usar o navegador e outras funcionalidades.
Krasis é um runtime de LLM híbrido que se concentra na execução eficiente de modelos maiores em hardware de consumo com VRAM limitada
Aprenda engenharia de inferência de LLM passo a passo: do cache KV, PagedAttention e processamento contínuo em lotes até vLLM, SGLang e GPUs.
[Destaque ICLR 2024] Implementação oficial do ScaleCrafter para geração visual de maior resolução em tempo de inferência.
Perguntas Frequentes
Qual é o repositório de #inference-optimization mais popular no GitHub?
O projeto de código aberto de #inference-optimization mais bem classificado no GitHub é lllyasviel/stable-diffusion-webui-forge, com 12,902 estrelas.
Quais linguagens de programação são mais usadas nos repositórios de #inference-optimization?
Entre os projetos de #inference-optimization mais bem classificados no GitHub, as linguagens de programação mais comuns são Python, Jupyter Notebook, C++, C.
Como é calculada a classificação dos repositórios de #inference-optimization?
Acompanhamos 41 repositórios ativos de código aberto marcados com #inference-optimization (com mais de 500 estrelas), totalizando 86,309 estrelas e uma média de 2,105 estrelas por repositório. As classificações são atualizadas diariamente a partir da API do GitHub.