Git Stars Git Stars

#inference-optimization Repositórios

Descubra 41 repositórios ativos de código aberto no GitHub marcados com #inference-optimization, acumulando um total de 86,309 estrelas (uma média de 2,105 por projeto). O líder deste tópico é lllyasviel/stable-diffusion-webui-forge, com 12,902 estrelas.

41
Total de Repositórios
86,309
Total de estrelas
2,105
Média de Estrelas/Repositório

41 repositórios no total

2
THUDM/slime

slime é uma estrutura de treinamento de LLM para escalar o aprendizado por reforço.

THUDM
⭐ 8,856 Python 👤 THUDM Organization 🕐 Atualizado 2026-11-05 📅 Criado 2025-06-18
3
deepseek-ai/open-infra-index

Ferramentas de infraestrutura de IA testadas em produção para o desenvolvimento eficiente de IGA e inovação impulsionada pela comunidade

deepseek-ai
⭐ 8,007 👤 deepseek-ai Organization 🕐 Atualizado 2025-05-15 📅 Criado 2025-02-21
4
microsoft/LLMLingua

[EMNLP'23, ACL'24] Para acelerar a inferência de LLMs e aprimorar a percepção de informações-chave dos LLMs, comprimir o prompt e o KV-Cache permite atingir até 20x de compressão com perda mínima de desempenho.

microsoft
⭐ 6,846 Python 👤 microsoft Organization 🕐 Atualizado 2026-11-09 📅 Criado 2023-07-07
5
QwenLM/Qwen3.8

Qwen3.8 é uma série de modelos de linguagem de grande porte desenvolvida pela equipe Qwen do Alibaba Group.

QwenLM
⭐ 4,459 👤 QwenLM Organization 🕐 Atualizado 2026-08-17 📅 Criado 2025-09-11
7
syv-ai/HyperQwen

Execute modelos Qwen grandes rapidamente nas GPUs que você realmente possui. Qwen3.8-27B em uma única placa de 24 GB com vLLM: 127 tok/s para um único usuário (381 quando a resposta cita o prompt), cerca de 1.035 tok/s com 64 requisições simultâneas e contexto de 150k–262k. Patches do vLLM, pipeline de requantização e benchmarks.

syv-ai
⭐ 2,778 Python 👤 syv-ai Organization 🕐 Atualizado 2026-11-10 📅 Criado 2026-08-15
8
google/XNNPACK

Operadores de inferência de rede neural de ponto flutuante de alta eficiência para dispositivos móveis, servidores e Web

google
⭐ 2,506 C 👤 google Organization 🕐 Atualizado 2026-11-21 📅 Criado 2019-09-13
9
XiaomiMiMo/MiMo

MiMo: Desbloqueando o Potencial de Raciocínio do Modelo de Linguagem – Do Pré-treinamento ao Pós-treinamento

XiaomiMiMo
⭐ 2,411 Python 👤 XiaomiMiMo Organization 🕐 Atualizado 2026-10-29 📅 Criado 2025-04-26
10
AmberLJC/LLMSys-PaperList

Lista de Artigos sobre Sistemas de Grandes Modelos de Linguagem (LLM)

AmberLJC
⭐ 2,332 Python 👤 AmberLJC User 🕐 Atualizado 2026-10-20 📅 Criado 2023-06-06
11
facebookresearch/blt

Código para o artigo de pesquisa BLT

facebookresearch
⭐ 2,070 Python 👤 facebookresearch Organization 🕐 Atualizado 2025-11-03 📅 Criado 2024-12-09
12
NUS-HPC-AI-Lab/VideoSys

VideoSys: Um sistema fácil e eficiente para a geração de vídeos

NUS-HPC-AI-Lab
⭐ 2,022 Python 👤 NUS-HPC-AI-Lab Organization 🕐 Atualizado 2025-08-27 📅 Criado 2024-02-17
13
NVIDIA/Stable-Diffusion-WebUI-TensorRT

Extensão TensorRT para Stable Diffusion Web UI

NVIDIA
⭐ 1,994 Python 👤 NVIDIA Organization 🕐 Atualizado 2024-06-14 📅 Criado 2023-10-10
14
ChenyangSi/FreeU

FreeU: Almoço Grátis em Diffusion U-Net (CVPR2024 Oral)

ChenyangSi
⭐ 1,892 👤 ChenyangSi User 🕐 Atualizado 2024-12-24 📅 Criado 2023-09-14
15
llmgenai/LLMInterviewQuestions

Este repositório contém perguntas de entrevista sobre LLM (Modelo de Linguagem Grande) feitas em grandes empresas como Google, Nvidia, Meta, Microsoft e companhias da Fortune 500.

llmgenai
⭐ 1,781 👤 llmgenai User 🕐 Atualizado 2025-02-12 📅 Criado 2024-12-26
16
chengzeyi/Comfy-WaveSpeed

https://wavespeed.ai/ [EM TRABALHO] A solução de otimização de inferência tudo-em-um para ComfyUI, universal, flexível e rápida.

chengzeyi
⭐ 1,235 Python 👤 chengzeyi User 🕐 Atualizado 2026-08-21 📅 Criado 2024-11-27
17
EdjeElectronics/TensorFlow-Object-Detection-on-the-Raspberry-Pi

Um tutorial mostrando como configurar a API de Detecção de Objetos do TensorFlow no Raspberry Pi

EdjeElectronics
⭐ 1,156 Python 👤 EdjeElectronics User 🕐 Atualizado 2024-08-10 📅 Criado 2018-06-05
18
gpu-mode/awesomeMLSys

Uma lista de integração de sistemas de ML

gpu-mode
⭐ 1,154 👤 gpu-mode Organization 🕐 Atualizado 2026-02-19 📅 Criado 2024-05-06
19
huggingface/search-and-learn

Receitas para escalar a computação em tempo de inferência de modelos abertos

huggingface
⭐ 1,134 Python 👤 huggingface Organization 🕐 Atualizado 2026-09-23 📅 Criado 2024-12-09
21
allenai/OLMoE

OLMoE: Modelos de Linguagem de Mistura de Especialistas Abertos

allenai
⭐ 1,087 Jupyter Notebook 👤 allenai Organization 🕐 Atualizado 2025-09-23 📅 Criado 2024-06-22
22
onnx/onnx-mlir

Representação e Redução de Referência de Modelos ONNX na Infraestrutura do Compilador MLIR

onnx
⭐ 1,072 MLIR 👤 onnx Organization 🕐 Atualizado 2026-11-13 📅 Criado 2020-02-18
23
mryab/efficient-dl-systems

Materiais do curso de sistemas eficientes de aprendizado profundo

mryab
⭐ 1,052 Jupyter Notebook 👤 mryab User 🕐 Atualizado 2026-05-28 📅 Criado 2021-12-06
24
hzwer/Practical-RIFE

Abordagem mais prática de interpolação de quadros.

hzwer
⭐ 1,050 Python 👤 hzwer User 🕐 Atualizado 2026-08-27 📅 Criado 2021-06-16
25
daixiangzi/Awesome-Token-Compress

Uma lista de artigos sobre trabalhos recentes de Compressão de Tokens para Vit e VLM

daixiangzi
⭐ 966 👤 daixiangzi User 🕐 Atualizado 2026-11-13 📅 Criado 2024-09-06
26
FoundationVision/Waver

Modelo de fundação de vídeo em nível de indústria para geração unificada de texto para vídeo (T2V) e imagem para vídeo (I2V).

FoundationVision
⭐ 952 👤 FoundationVision Organization 🕐 Atualizado 2025-08-27 📅 Criado 2025-08-05
27
alibaba/BladeDISC

BladeDISC é um projeto de compilador dinâmico de forma ponta a ponta para cargas de trabalho de aprendizado de máquina.

alibaba
⭐ 911 C++ 👤 alibaba Organization 🕐 Atualizado 2024-12-30 📅 Criado 2021-12-20
28
lifeiteng/OmniSenseVoice

Omni SenseVoice: Reconhecimento de Voz de Alta Velocidade com timestamps das palavras 🗣️🎯

lifeiteng
⭐ 897 Python 👤 lifeiteng User 🕐 Atualizado 2025-12-10 📅 Criado 2024-09-22
29
KohakuBlueleaf/a1111-sd-webui-lycoris

Uma extensão para o stable-diffusion-webui para carregar modelos LyCORIS.

KohakuBlueleaf
⭐ 894 Python 👤 KohakuBlueleaf User 🕐 Atualizado 2024-02-16 📅 Criado 2023-04-09
30
aiola-lab/whisper-medusa

Sussurro com cabeças de Medusa

aiola-lab
⭐ 860 Python 👤 aiola-lab Organization 🕐 Atualizado 2026-07-02 📅 Criado 2024-07-17
31
datawhalechina/llm-algo-leetcode

Algoritmos e sistemas de LLM na prática com PyTorch, Triton e CUDA. «Tutorial de algoritmos e sistemas de LLM»: arquiteturas e treinamento de modelos, pós-treinamento, aceleração da inferência, otimização de desempenho e de operadores; inclui exercícios em Notebook, explicações das respostas, testes e experimentos.

datawhalechina
⭐ 811 Jupyter Notebook 👤 datawhalechina Organization 🕐 Atualizado 2026-11-16 📅 Criado 2026-04-01
32
tensorflow/runtime

Um tempo de execução performático e modular para TensorFlow

tensorflow
⭐ 754 C++ 👤 tensorflow Organization 🕐 Atualizado 2025-09-04 📅 Criado 2020-04-24
33
IEIT-Yuan/Yuan-2.0

Modelo de Linguagem Grande Yuan 2.0

IEIT-Yuan
⭐ 689 Python 👤 IEIT-Yuan Organization 🕐 Atualizado 2024-07-11 📅 Criado 2023-11-26
34
microsoft/VPTQ

VPTQ, um algoritmo de quantização flexível e de bits extremamente baixos

microsoft
⭐ 683 Python 👤 microsoft Organization 🕐 Atualizado 2026-08-04 📅 Criado 2024-08-13
36
HybridTalentComputing/cline-chinese

Cline versão localizada para chinês, Cline é um assistente de programação autônomo que é executado no seu IDE e que, com sua permissão, pode criar/editar arquivos, executar comandos, usar o navegador e outras funcionalidades.

HybridTalentComputing
⭐ 660 TypeScript 👤 HybridTalentComputing User 🕐 Atualizado 2026-07-14 📅 Criado 2025-02-07
38
HazyResearch/aisys-building-blocks

Blocos de construção para modelos fundamentais.

HazyResearch
⭐ 587 👤 HazyResearch Organization 🕐 Atualizado 2024-01-03 📅 Criado 2023-11-30
39
brontoguana/krasis

Krasis é um runtime de LLM híbrido que se concentra na execução eficiente de modelos maiores em hardware de consumo com VRAM limitada

brontoguana
⭐ 530 C++ 👤 brontoguana User 🕐 Atualizado 2026-11-12 📅 Criado 2026-02-09
40
amitshekhariitbhu/llm-inference-engineering

Aprenda engenharia de inferência de LLM passo a passo: do cache KV, PagedAttention e processamento contínuo em lotes até vLLM, SGLang e GPUs.

amitshekhariitbhu
⭐ 523 Markdown 👤 amitshekhariitbhu User 🕐 Atualizado 2026-11-09 📅 Criado 2026-08-18
41
YingqingHe/ScaleCrafter

[Destaque ICLR 2024] Implementação oficial do ScaleCrafter para geração visual de maior resolução em tempo de inferência.

YingqingHe
⭐ 508 Python 👤 YingqingHe User 🕐 Atualizado 2024-03-07 📅 Criado 2023-10-07

Perguntas Frequentes

1

Qual é o repositório de #inference-optimization mais popular no GitHub?

O projeto de código aberto de #inference-optimization mais bem classificado no GitHub é lllyasviel/stable-diffusion-webui-forge, com 12,902 estrelas.

2

Quais linguagens de programação são mais usadas nos repositórios de #inference-optimization?

Entre os projetos de #inference-optimization mais bem classificados no GitHub, as linguagens de programação mais comuns são Python, Jupyter Notebook, C++, C.

3

Como é calculada a classificação dos repositórios de #inference-optimization?

Acompanhamos 41 repositórios ativos de código aberto marcados com #inference-optimization (com mais de 500 estrelas), totalizando 86,309 estrelas e uma média de 2,105 estrelas por repositório. As classificações são atualizadas diariamente a partir da API do GitHub.