Git Stars Git Stars

#inference Repositórios

Descubra 144 repositórios ativos de código aberto no GitHub marcados com #inference, acumulando um total de 870,238 estrelas (uma média de 6,043 por projeto). O líder deste tópico é vllm-project/vllm, com 97,302 estrelas.

144
Total de Repositórios
870,238
Total de estrelas
6,043
Média de Estrelas/Repositório

144 repositórios no total

1
vllm-project/vllm

Um motor de inferência e serviço para LLMs de alto rendimento e eficiente em memória

vllm-project
⭐ 97,302 Python 👤 vllm-project Organization 🕐 Atualizado 2026-11-21 📅 Criado 2023-02-09
2
ultralytics/yolov5

Ultralytics YOLOv5 no PyTorch para detecção de objetos, segmentação de instâncias, classificação, treinamento e exportação.

ultralytics
⭐ 58,290 Python 👤 ultralytics Organization 🕐 Atualizado 2026-11-16 📅 Criado 2020-05-18
3
ggml-org/whisper.cpp

Porte do modelo Whisper da OpenAI em C/C++

ggml-org
⭐ 55,392 C++ 👤 ggml-org Organization 🕐 Atualizado 2026-11-20 📅 Criado 2022-09-25
4
deepspeedai/DeepSpeed

DeepSpeed é uma biblioteca de otimização de aprendizado profundo que torna o treinamento e a inferência distribuídos fáceis, eficientes e eficazes.

deepspeedai
⭐ 43,348 Python 👤 deepspeedai Organization 🕐 Atualizado 2026-11-21 📅 Criado 2020-01-23
5
hpcaitech/ColossalAI

Tornando os grandes modelos de IA mais baratos, rápidos e acessíveis

hpcaitech
⭐ 41,421 Python 👤 hpcaitech Organization 🕐 Atualizado 2026-11-19 📅 Criado 2021-10-28
6
sgl-project/sglang

SGLang é uma estrutura de serviço de alto desempenho para grandes modelos de linguagem e modelos multimodais.

sgl-project
⭐ 38,899 Python 👤 sgl-project Organization 🕐 Atualizado 2026-11-21 📅 Criado 2024-01-08
7
google-ai-edge/mediapipe

Soluções de ML multiplataforma e personalizáveis para mídia ao vivo e de transmissão.

google-ai-edge
⭐ 37,769 C++ 👤 google-ai-edge Organization 🕐 Atualizado 2026-11-21 📅 Criado 2019-06-13
8
SYSTRAN/faster-whisper

Transcrição Whisper mais rápida com CTranslate2

SYSTRAN
⭐ 26,924 Python 👤 SYSTRAN Organization 🕐 Atualizado 2026-11-12 📅 Criado 2023-02-11
9
Tencent/ncnn

ncnn é uma estrutura de inferência de rede neural de alto desempenho otimizada para a plataforma móvel

Tencent
⭐ 24,082 C++ 👤 Tencent Organization 🕐 Atualizado 2026-11-21 📅 Criado 2017-06-30
10
stas00/ml-engineering

Livro Aberto de Engenharia de Machine Learning

stas00
⭐ 19,738 Python 👤 stas00 User 🕐 Atualizado 2026-11-20 📅 Criado 2020-09-02
11
FlashML-org/FreeToken

O FreeToken traz a disponibilização de modelos em escala de data center para o seu desktop. Execute modelos massivos localmente, de forma rápida e eficiente.

FlashML-org
⭐ 17,522 Python 👤 FlashML-org User 🕐 Atualizado 2026-11-21 📅 Criado 2026-07-20
⭐ 16,519 Python 👤 GeeeekExplorer User 🕐 Atualizado 2026-04-26 📅 Criado 2025-06-09
13
gvergnaud/ts-pattern

🎨 A biblioteca exaustiva de Correspondência de Padrões (Pattern Matching) para TypeScript, com inferência de tipo inteligente.

gvergnaud
⭐ 15,224 TypeScript 👤 gvergnaud User 🕐 Atualizado 2026-11-20 📅 Criado 2020-05-24
14
NVIDIA/TensorRT

NVIDIA® TensorRT™ é um SDK para inferência de deep learning de alto desempenho em GPUs NVIDIA. Este repositório contém os componentes de código aberto do TensorRT.

NVIDIA
⭐ 13,475 C++ 👤 NVIDIA Organization 🕐 Atualizado 2026-11-18 📅 Criado 2019-05-02
15
LMCache/LMCache

LMCache: Turbine seu LLM com a camada de cache KV mais rápida

LMCache
⭐ 12,405 Python 👤 LMCache Organization 🕐 Atualizado 2026-11-21 📅 Criado 2024-05-28
16
openvinotoolkit/openvino

OpenVINO™ é um kit de ferramentas de código aberto para otimizar e implantar inferência de IA

openvinotoolkit
⭐ 11,869 C++ 👤 openvinotoolkit Organization 🕐 Atualizado 2026-11-21 📅 Criado 2018-10-15
17
triton-inference-server/server

O Triton Inference Server fornece uma solução de inferência otimizada para nuvem e borda.

triton-inference-server
⭐ 11,156 Python 👤 triton-inference-server Organization 🕐 Atualizado 2026-11-20 📅 Criado 2018-10-04
18
aws/amazon-sagemaker-examples

Exemplo de 📓 cadernos Jupyter que demonstram como construir, treinar e implantar modelos de aprendizado de máquina usando 🧠 Amazon SageMaker.

aws
⭐ 11,020 Jupyter Notebook 👤 aws Organization 🕐 Atualizado 2026-10-14 📅 Criado 2017-10-23
19
huggingface/text-generation-inference

Inferência de Geração de Texto por Modelos de Linguagem Grandes

huggingface
⭐ 10,812 Python 👤 huggingface Organization 🕐 Atualizado 2026-01-08 📅 Criado 2022-10-08
20
ultralytics/yolov3

Implementação em PyTorch de YOLOv3, YOLOv3-SPP e YOLOv3-tiny para detecção de objetos em tempo real com treinamento, validação, inferência e exportação em múltiplos formatos.

ultralytics
⭐ 10,647 Python 👤 ultralytics Organization 🕐 Atualizado 2026-11-07 📅 Criado 2018-08-26
21
RunanywhereAI/runanywhere-sdks

Kit de ferramentas pronto para produção para executar IA localmente

RunanywhereAI
⭐ 10,354 C++ 👤 RunanywhereAI Organization 🕐 Atualizado 2026-11-10 📅 Criado 2025-07-22
22
xorbitsai/inference

Plataforma de inferência de código aberto para modelos de linguagem, visão, embeddings, reranking, imagem, áudio e vídeo. Implante vários mecanismos em hardware heterogêneo, de um laptop a um cluster distribuído. Disponibilize modelos por meio de APIs compatíveis com a OpenAI.

xorbitsai
⭐ 9,667 Python 👤 xorbitsai Organization 🕐 Atualizado 2026-11-21 📅 Criado 2023-06-14
23
oumi-ai/oumi

Ajuste finamente (SFT/RL), avalie e implante facilmente o Qwen, o Gemma ou qualquer LLM/VLM agêntico de código aberto!

oumi-ai
⭐ 9,441 Python 👤 oumi-ai Organization 🕐 Atualizado 2026-11-21 📅 Criado 2024-05-07
24
dusty-nv/jetson-inference

Guia do Hello AI World para implantação de redes de inferência de deep learning e primitivas de deep vision com TensorRT e NVIDIA Jetson.

dusty-nv
⭐ 9,015 C++ 👤 dusty-nv User 🕐 Atualizado 2025-10-16 📅 Criado 2016-07-30
25
vllm-project/vllm-omni

Uma estrutura para inferência de modelo eficiente com modelos de omni-modalidade

vllm-project
⭐ 7,884 Python 👤 vllm-project Organization 🕐 Atualizado 2026-11-21 📅 Criado 2025-09-11
26
Human-Agent-Society/reef

Infraestrutura para agentes que se aprimoram continuamente

Human-Agent-Society
⭐ 7,652 Python 👤 Human-Agent-Society Organization 🕐 Atualizado 2026-11-21 📅 Criado 2026-08-31
27
mizorewww/laya-mlx

Runtime MLX nativo para modelos de decisão tipados da Laya — decisões curtas em 7–14 ms no M3 Max. Sem geração de texto, PyTorch ou API na nuvem.

mizorewww
⭐ 7,115 Python 👤 mizorewww User 🕐 Atualizado 2026-11-21 📅 Criado 2026-09-19
28
kvcache-ai/Mooncake

Mooncake é a plataforma de serviço para Kimi, um serviço de LLM líder fornecido pela Moonshot AI.

kvcache-ai
⭐ 7,100 C++ 👤 kvcache-ai Organization 🕐 Atualizado 2026-11-21 📅 Criado 2024-06-25
29
gcanti/io-ts

Sistema de tipos em tempo de execução para decodificação/codificação de IO

gcanti
⭐ 6,812 TypeScript 👤 gcanti User 🕐 Atualizado 2024-12-10 📅 Criado 2017-01-28
30
vllm-project/semantic-router

Uma camada de decisão aberta e programável para modelos e computação.

vllm-project
⭐ 6,514 Go 👤 vllm-project Organization 🕐 Atualizado 2026-11-21 📅 Criado 2025-08-26
31
argmaxinc/argmax-oss-swift

IA de Voz no Dispositivo para Apple Silicon

argmaxinc
⭐ 6,471 Swift 👤 argmaxinc Organization 🕐 Atualizado 2026-10-27 📅 Criado 2024-01-26
32
Trusted-AI/adversarial-robustness-toolbox

Adversarial Robustness Toolbox (ART) - Biblioteca Python para Segurança de Machine Learning - Evasão, Envenenamento, Extração, Inferência - Equipes Vermelha e Azul

Trusted-AI
⭐ 6,322 Python 👤 Trusted-AI Organization 🕐 Atualizado 2026-11-13 📅 Criado 2018-03-15
33
gpustack/gpustack

Um gerenciador de cluster de GPU para serviço de modelos de IA de alto desempenho (vLLM, SGLang) e instâncias de GPU sob demanda acessíveis via SSH.

gpustack
⭐ 6,097 Python 👤 gpustack Organization 🕐 Atualizado 2026-11-20 📅 Criado 2024-05-11
34
llm-d/llm-d

Desempenho de inferência de última geração com aceleradores modernos no Kubernetes

llm-d
⭐ 5,325 Python 👤 llm-d Organization 🕐 Atualizado 2026-11-21 📅 Criado 2025-04-29
35
superduper-io/superduper

Superduper: Framework de ponta a ponta para a criação de aplicações e agentes de IA personalizados.

superduper-io
⭐ 5,317 Python 👤 superduper-io Organization 🕐 Atualizado 2025-09-01 📅 Criado 2022-08-30
36
tencentmusic/cube-studio

Plataforma de IA unificada, open source, de machine learning/deep learning/grandes modelos nativa da nuvem cube studio, fluxo de trabalho completo de MLOps para algoritmos, plataforma de aluguel de poder computacional, desenvolvimento online em notebook, orquestração de pipeline de fluxo de tarefas arrastar e soltar, treinamento distribuído multi-máquina/multi-GPU, busca de hiperparâmetros, virtualização VGPU para serviço de inferência, computação de borda, anotação automatizada pela plataforma de anotação, ajuste fino SFT de grandes modelos como deepseek/modelo de recompensa/treinamento de aprendizado por reforço, inferência multi-máquina de grandes modelos como vllm/ollama/mindie, base de conhecimento privada, mercado de modelos de IA, suporte ao ecossistema chinês de CPUs/GPUs/NPUs Ascend, suporte a RDMA, suporte a frameworks distribuídos como pytorch/tf/mxnet/deepspeed/paddle/colossalai/horovod/ray/volcano

tencentmusic
⭐ 5,085 👤 tencentmusic Organization 🕐 Atualizado 2026-10-09 📅 Criado 2021-08-17
37
NVIDIA-AI-IOT/torch2trt

Um conversor de PyTorch para TensorRT fácil de usar

NVIDIA-AI-IOT
⭐ 4,840 Python 👤 NVIDIA-AI-IOT Organization 🕐 Atualizado 2024-08-17 📅 Criado 2019-04-27
38
hao-ai-lab/FastVideo

Uma estrutura unificada de inferência e pós-treinamento para a geração acelerada de vídeos.

hao-ai-lab
⭐ 4,833 Python 👤 hao-ai-lab Organization 🕐 Atualizado 2026-11-20 📅 Criado 2024-10-24
39
OpenNMT/CTranslate2

Motor de inferência rápido para modelos Transformer

OpenNMT
⭐ 4,758 C++ 👤 OpenNMT Organization 🕐 Atualizado 2026-11-21 📅 Criado 2019-09-23
40
Tencent/TNN

TNN: desenvolvido pelo Tencent Youtu Lab e Guangying Lab, uma estrutura uniforme de inferência de aprendizado profundo para dispositivos móveis, desktop e servidor. O TNN se distingue por várias características notáveis, incluindo sua capacidade de plataforma cruzada (cross-platform), alto desempenho, compressão de modelo e poda de código (code pruning). Baseado em ncnn e Rapidnet, o TNN reforça ainda mais o suporte e a otimização de desempenho para dispositivos móveis, e também aproveita as vantagens de boa extensibilidade e alto desempenho de esforços de código aberto existentes.

Tencent
⭐ 4,635 C++ 👤 Tencent Organization 🕐 Atualizado 2025-05-09 📅 Criado 2020-05-29
41
typedb/typedb

TypeDB: Construído para sistemas, não para registros

typedb
⭐ 4,524 Rust 👤 typedb Organization 🕐 Atualizado 2026-11-19 📅 Criado 2016-07-11
42
openvinotoolkit/open_model_zoo

Modelos de Deep Learning pré-treinados e demos (alta qualidade e extremamente rápidos)

openvinotoolkit
⭐ 4,440 Python 👤 openvinotoolkit Organization 🕐 Atualizado 2026-11-16 📅 Criado 2018-10-15
43
zml/zml

Qualquer modelo. Qualquer hardware. Compromisso zero. Construído com @ziglang / @openxla / MLIR / @bazelbuild

zml
⭐ 4,292 Zig 👤 zml Organization 🕐 Atualizado 2026-11-20 📅 Criado 2024-09-17
44
uxlfoundation/oneDNN

Biblioteca de código aberto de operações otimizadas de aprendizado profundo (multiplicação de matrizes, convolução e atenção) para CPUs (x64, AArch64, RISC-V) e GPUs Intel. Utilizada pelo PyTorch, TensorFlow, OpenVINO e ONNX Runtime.

uxlfoundation
⭐ 4,094 C++ 👤 uxlfoundation Organization 🕐 Atualizado 2026-11-21 📅 Criado 2016-05-09
45
OpenCSGs/csghub

CSGHub é uma plataforma de código aberto totalmente nova para gerenciar LLMs, desenvolvida pela equipe OpenCSG. Ele oferece soluções de código aberto e on-premise/SaaS, com recursos comparáveis ao Hugging Face. Obtenha controle total sobre o ciclo de vida de LLMs, datasets e agentes, com compatibilidade de SDK Python com Hugging Face. Junte-se a nós! ⭐️

OpenCSGs
⭐ 4,083 Vue 👤 OpenCSGs Organization 🕐 Atualizado 2026-11-13 📅 Criado 2024-01-12
46
FlashML-org/FreeVideo

Crie vídeos no computador que você já possui. O FreeVideo executa o MiniMax H3 com apenas 8 GB de VRAM e 16 GB de RAM, adaptando sua rota de aceleração ao seu hardware.

FlashML-org
⭐ 4,049 Python 👤 FlashML-org User 🕐 Atualizado 2026-11-20 📅 Criado 2026-09-13
47
PaddlePaddle/FastDeploy

Toolkit de Inferência e Implantação de Alto Desempenho para LLMs e VLMs baseado no PaddlePaddle

PaddlePaddle
⭐ 3,722 Python 👤 PaddlePaddle Organization 🕐 Atualizado 2026-09-24 📅 Criado 2022-06-27
48
superlinked/sie

Servidor de inferência de código aberto e cluster de produção para todos os modelos que seu agente precisa.

superlinked
⭐ 3,534 Python 👤 superlinked Organization 🕐 Atualizado 2026-11-20 📅 Criado 2023-11-07
49
huggingface/optimum

🚀 Acelere a inferência e o treinamento de 🤗 Transformers, Diffusers, TIMM e Sentence Transformers com ferramentas de otimização de hardware fáceis de usar

huggingface
⭐ 3,525 Python 👤 huggingface Organization 🕐 Atualizado 2026-11-16 📅 Criado 2021-07-20
50
zjhellofss/KuiperInfer

Ótimos projetos para recrutamento escolar, recrutamento de outono, recrutamento de primavera e estágios! Leva você a implementar do zero uma biblioteca de inferência de aprendizado profundo de alto desempenho, suportando inferência para modelos grandes como llama2, Unet, Yolov5, Resnet, etc. Implement a high-performance deep learning inference library step by step

zjhellofss
⭐ 3,444 C++ 👤 zjhellofss User 🕐 Atualizado 2025-06-22 📅 Criado 2022-11-21

Perguntas Frequentes

1

Qual é o repositório de #inference mais popular no GitHub?

O projeto de código aberto de #inference mais bem classificado no GitHub é vllm-project/vllm, com 97,302 estrelas. Um motor de inferência e serviço para LLMs de alto rendimento e eficiente em memória

2

Quais linguagens de programação são mais usadas nos repositórios de #inference?

Entre os projetos de #inference mais bem classificados no GitHub, as linguagens de programação mais comuns são Python, C++, TypeScript, Jupyter Notebook.

3

Como é calculada a classificação dos repositórios de #inference?

Acompanhamos 144 repositórios ativos de código aberto marcados com #inference (com mais de 500 estrelas), totalizando 870,238 estrelas e uma média de 6,043 estrelas por repositório. As classificações são atualizadas diariamente a partir da API do GitHub.