Git Stars Git Stars

#inference-acceleration Repositórios

Descubra 14 repositórios ativos de código aberto no GitHub marcados com #inference-acceleration, acumulando um total de 24,811 estrelas (uma média de 1,772 por projeto). O líder deste tópico é openai/consistency_models, com 6,461 estrelas.

14
Total de Repositórios
24,811
Total de estrelas
1,772
Média de Estrelas/Repositório
Linguagens de programação: Python Cuda

14 repositórios no total

1
openai/consistency_models

Repositório oficial para modelos de consistência.

openai
⭐ 6,461 Python 👤 openai Organization 🕐 Atualizado 2024-03-22 📅 Criado 2023-02-26
2
thu-ml/SageAttention

[ICLR2025, ICML2025, NeurIPS2025 Spotlight] O Quantized Attention (Atenção Quantizada) alcança uma aceleração de 2 a 5 vezes em comparação com o FlashAttention, sem perder métricas de ponta a ponta em modelos de linguagem, imagem e vídeo.

thu-ml
⭐ 4,017 Cuda 👤 thu-ml Organization 🕐 Atualizado 2026-01-17 📅 Criado 2024-10-03
3
thu-ml/TurboDiffusion

TurboDiffusion: Aceleração de 100 a 200× para modelos de difusão de vídeo

thu-ml
⭐ 3,870 Python 👤 thu-ml Organization 🕐 Atualizado 2026-11-04 📅 Criado 2025-12-06
4
ali-vilab/TeaCache

O Embedding do Passo de Tempo Avisa: É Hora de Cachear para o Modelo de Difusão de Vídeo

ali-vilab
⭐ 1,333 Python 👤 ali-vilab Organization 🕐 Atualizado 2025-06-08 📅 Criado 2024-11-27
5
meta-pytorch/segment-anything-fast

Uma versão orientada para inferência offline em lote de segment-anything

meta-pytorch
⭐ 1,321 Python 👤 meta-pytorch Organization 🕐 Atualizado 2025-08-22 📅 Criado 2023-08-30
6
thu-ml/SpargeAttn

[ICML2025] SpargeAttention: Uma atenção esparsa sem treinamento que acelera qualquer inferência de modelo.

thu-ml
⭐ 1,269 Cuda 👤 thu-ml Organization 🕐 Atualizado 2026-02-25 📅 Criado 2025-02-25
7
microsoft/MInference

[Destaque NeurIPS'24, ICLR'25, ICML'25] Para acelerar a inferência de LLMs de contexto longo, o cálculo esparso, aproximado e dinâmico é aplicado à atenção, o que reduz a latência de inferência em até 10x no pré-preenchimento em uma A100, mantendo a precisão.

microsoft
⭐ 1,230 Python 👤 microsoft Organization 🕐 Atualizado 2026-11-18 📅 Criado 2024-05-22
8
NVlabs/Fast-dLLM

Implementação oficial de "Fast-dLLM: Aceleração Livre de Treinamento de LLM de Difusão Habilitando Cache KV e Decodificação Paralela"

NVlabs
⭐ 1,116 Python 👤 NVlabs Organization 🕐 Atualizado 2026-05-30 📅 Criado 2025-05-27
9
Alpha-VLLM/Lumina-mGPT-2.0

Lumina-mGPT 2.0: Modelagem de Imagem Autorregressiva Autônoma

Alpha-VLLM
⭐ 1,081 Python 👤 Alpha-VLLM Organization 🕐 Atualizado 2025-11-03 📅 Criado 2025-04-03
10
AlibabaResearch/SparkDiffusion

SparkDiffusion: acelera a geração de vídeo com DiT em 265× por meio de esparsidade, destilação, quantização conjuntas, etc.

AlibabaResearch
⭐ 750 Python 👤 AlibabaResearch Organization 🕐 Atualizado 2026-10-26 📅 Criado 2026-09-18
11
OpenGVLab/DCNv4

[CVPR 2024] Convolução Deformável v4

OpenGVLab
⭐ 695 Python 👤 OpenGVLab Organization 🕐 Atualizado 2024-05-17 📅 Criado 2023-12-25
12
pkunlp-icler/FastV

[ECCV 2024 Apresentação Oral] Código para o artigo: Uma Imagem Vale 1/2 Token Após a Camada 2: Aceleração de Inferência Plug-and-Play para Grandes Modelos Visão-Linguagem

pkunlp-icler
⭐ 579 Python 👤 pkunlp-icler Organization 🕐 Atualizado 2025-01-04 📅 Criado 2024-03-11
13
thu-ml/SLA

SLA: Além da esparsidade em transformadores de difusão por meio de atenção esparsa-linear ajustável

thu-ml
⭐ 553 Python 👤 thu-ml Organization 🕐 Atualizado 2026-10-18 📅 Criado 2025-09-25
14
Generated-Computers/Locals

Execute vários agentes de IA ao mesmo tempo no seu Mac, até 3 vezes mais rápido.

Generated-Computers
⭐ 538 Python 👤 Generated-Computers Organization 🕐 Atualizado 2026-11-21 📅 Criado 2026-10-12

Perguntas Frequentes

1

Qual é o repositório de #inference-acceleration mais popular no GitHub?

O projeto de código aberto de #inference-acceleration mais bem classificado no GitHub é openai/consistency_models, com 6,461 estrelas. Repositório oficial para modelos de consistência.

2

Quais linguagens de programação são mais usadas nos repositórios de #inference-acceleration?

Entre os projetos de #inference-acceleration mais bem classificados no GitHub, as linguagens de programação mais comuns são Python, Cuda.

3

Como é calculada a classificação dos repositórios de #inference-acceleration?

Acompanhamos 14 repositórios ativos de código aberto marcados com #inference-acceleration (com mais de 500 estrelas), totalizando 24,811 estrelas e uma média de 1,772 estrelas por repositório. As classificações são atualizadas diariamente a partir da API do GitHub.