#inference-acceleration Repositórios
Descubra 14 repositórios ativos de código aberto no GitHub marcados com #inference-acceleration, acumulando um total de 24,811 estrelas (uma média de 1,772 por projeto). O líder deste tópico é openai/consistency_models, com 6,461 estrelas.
14 repositórios no total
[ICLR2025, ICML2025, NeurIPS2025 Spotlight] O Quantized Attention (Atenção Quantizada) alcança uma aceleração de 2 a 5 vezes em comparação com o FlashAttention, sem perder métricas de ponta a ponta em modelos de linguagem, imagem e vídeo.
O Embedding do Passo de Tempo Avisa: É Hora de Cachear para o Modelo de Difusão de Vídeo
Uma versão orientada para inferência offline em lote de segment-anything
[ICML2025] SpargeAttention: Uma atenção esparsa sem treinamento que acelera qualquer inferência de modelo.
[Destaque NeurIPS'24, ICLR'25, ICML'25] Para acelerar a inferência de LLMs de contexto longo, o cálculo esparso, aproximado e dinâmico é aplicado à atenção, o que reduz a latência de inferência em até 10x no pré-preenchimento em uma A100, mantendo a precisão.
Implementação oficial de "Fast-dLLM: Aceleração Livre de Treinamento de LLM de Difusão Habilitando Cache KV e Decodificação Paralela"
SparkDiffusion: acelera a geração de vídeo com DiT em 265× por meio de esparsidade, destilação, quantização conjuntas, etc.
[ECCV 2024 Apresentação Oral] Código para o artigo: Uma Imagem Vale 1/2 Token Após a Camada 2: Aceleração de Inferência Plug-and-Play para Grandes Modelos Visão-Linguagem
SLA: Além da esparsidade em transformadores de difusão por meio de atenção esparsa-linear ajustável
Execute vários agentes de IA ao mesmo tempo no seu Mac, até 3 vezes mais rápido.
Perguntas Frequentes
Qual é o repositório de #inference-acceleration mais popular no GitHub?
O projeto de código aberto de #inference-acceleration mais bem classificado no GitHub é openai/consistency_models, com 6,461 estrelas. Repositório oficial para modelos de consistência.
Quais linguagens de programação são mais usadas nos repositórios de #inference-acceleration?
Entre os projetos de #inference-acceleration mais bem classificados no GitHub, as linguagens de programação mais comuns são Python, Cuda.
Como é calculada a classificação dos repositórios de #inference-acceleration?
Acompanhamos 14 repositórios ativos de código aberto marcados com #inference-acceleration (com mais de 500 estrelas), totalizando 24,811 estrelas e uma média de 1,772 estrelas por repositório. As classificações são atualizadas diariamente a partir da API do GitHub.