Git Stars Git Stars

#model-serving Repositórios

Descubra 51 repositórios ativos de código aberto no GitHub marcados com #model-serving, acumulando um total de 211,758 estrelas (uma média de 4,152 por projeto). O líder deste tópico é vllm-project/vllm, com 97,302 estrelas.

51
Total de Repositórios
211,758
Total de estrelas
4,152
Média de Estrelas/Repositório

51 repositórios no total

1
vllm-project/vllm

Um motor de inferência e serviço para LLMs de alto rendimento e eficiente em memória

vllm-project
⭐ 97,302 Python 👤 vllm-project Organization 🕐 Atualizado 2026-11-21 📅 Criado 2023-02-09
2
bentoml/BentoML

A maneira mais fácil de servir aplicativos e modelos de IA - Crie APIs de Inferência de Modelo, filas de tarefas (Job queues), aplicativos LLM, pipelines multimodelos e muito mais!

bentoml
⭐ 8,944 Python 👤 bentoml Organization 🕐 Atualizado 2026-11-17 📅 Criado 2019-04-02
3
vllm-project/vllm-omni

Uma estrutura para inferência de modelo eficiente com modelos de omni-modalidade

vllm-project
⭐ 7,884 Python 👤 vllm-project Organization 🕐 Atualizado 2026-11-21 📅 Criado 2025-09-11
4
flyteorg/flyte

Orquestração distribuída e type-safe de agentes, pipelines de ML e inferência em tempo real no seu k8s — em Python puro com async/await, além de outras linguagens (Rust, Go e TypeScript)

flyteorg
⭐ 7,801 Go 👤 flyteorg Organization 🕐 Atualizado 2026-11-21 📅 Criado 2019-10-21
6
kserve/kserve

Plataforma Padronizada de Inferência de IA Generativa e Preditiva Distribuída para Implantação Escalável e Multi-Framework no Kubernetes

kserve
⭐ 6,253 Go 👤 kserve Organization 🕐 Atualizado 2026-11-20 📅 Criado 2019-03-27
7
beclab/Olares

Sistema operacional de nuvem pessoal de código aberto para agentes sempre ativos

beclab
⭐ 5,373 Go 👤 beclab Organization 🕐 Atualizado 2026-11-21 📅 Criado 2024-04-29
8
ahkarami/Deep-Learning-in-Production

Neste repositório, compartilharei algumas notas e referências úteis sobre a implantação de modelos baseados em aprendizado profundo em produção.

ahkarami
⭐ 4,380 👤 ahkarami User 🕐 Atualizado 2024-11-09 📅 Criado 2018-05-03
9
ModelTC/LightLLM

LightLLM é um framework de inferência e serviço de LLM (Large Language Model) baseado em Python, notável por seu design leve, escalabilidade fácil e desempenho de alta velocidade.

ModelTC
⭐ 4,368 Python 👤 ModelTC Organization 🕐 Atualizado 2026-11-21 📅 Criado 2023-07-22
10
HuaizhengZhang/AI-Infra-from-Zero-to-Hero

🚀 Sistema Incrível para Aprendizado de Máquina ⚡️ Artigos sobre Sistemas de IA e Prática da Indústria. ⚡️ Sistema para Aprendizado de Máquina, LLM (Large Language Model), GenAI (Generative AI). 🍻 OSDI, NSDI, SIGCOMM, SoCC, MLSys, etc. 🗃️ Llama3, Mistral, etc. 🧑‍💻 Tutoriais em Vídeo.

HuaizhengZhang
⭐ 4,224 👤 HuaizhengZhang User 🕐 Atualizado 2025-07-25 📅 Criado 2019-01-07
11
FedML-AI/FedML

FEDML - A biblioteca de ML unificada e escalável para treinamento distribuído em larga escala, serviço de modelo e aprendizado federado. O FEDML Launch, um agendador multi-cloud, permite ainda a execução de quaisquer tarefas de IA em qualquer cloud de GPU ou cluster local. Construída sobre esta biblioteca, a TensorOpera AI (https://TensorOpera.ai) é a sua plataforma de IA generativa em escala.

FedML-AI
⭐ 4,068 Python 👤 FedML-AI Organization 🕐 Atualizado 2026-11-12 📅 Criado 2020-07-21
12
predibase/lorax

Servidor de inferência Multi-LoRA que escala para milhares de LLMs ajustados

predibase
⭐ 3,836 Python 👤 predibase Organization 🕐 Atualizado 2026-05-28 📅 Criado 2023-10-20
13
vllm-project/vllm-ascend

Plugin de hardware para vLLM no Huawei Ascend mantido pela comunidade

vllm-project
⭐ 3,128 Python 👤 vllm-project Organization 🕐 Atualizado 2026-11-21 📅 Criado 2025-01-29
14
openlake-project/openlake

OpenLake é um motor de armazenamento de alto desempenho para inferência de LLM e treinamento de GPU eficientes

openlake-project
⭐ 3,089 Rust 👤 openlake-project Organization 🕐 Atualizado 2026-11-19 📅 Criado 2026-04-27
15
thu-pacman/chitu

Framework de inferência de alto desempenho para modelos de linguagem grandes, com foco em eficiência, flexibilidade e disponibilidade.

thu-pacman
⭐ 3,005 Python 👤 thu-pacman Organization 🕐 Atualizado 2026-11-21 📅 Criado 2025-02-20
16
AmberLJC/LLMSys-PaperList

Lista de Artigos sobre Sistemas de Grandes Modelos de Linguagem (LLM)

AmberLJC
⭐ 2,332 Python 👤 AmberLJC User 🕐 Atualizado 2026-10-20 📅 Criado 2023-06-06
17
tensorchord/envd

🏕️ Ambiente de desenvolvimento reproduzível para humanos e agentes

tensorchord
⭐ 2,249 Go 👤 tensorchord Organization 🕐 Atualizado 2026-11-19 📅 Criado 2022-04-11
18
microsoft/aici

AICI: Prompts como Programas (Wasm)

microsoft
⭐ 2,077 Rust 👤 microsoft Organization 🕐 Atualizado 2025-01-22 📅 Criado 2023-09-26
19
tile-ai/TileRT

Runtime Baseado em Blocos para Inferência de LLM de Ultra Baixa Latência

tile-ai
⭐ 1,906 Python 👤 tile-ai Organization 🕐 Atualizado 2026-09-24 📅 Criado 2025-11-12
20
sgl-project/sglang-omni

Ambiente de execução de alto desempenho para servir sistemas de superinteligência interativos

sgl-project
⭐ 1,882 Python 👤 sgl-project Organization 🕐 Atualizado 2026-11-21 📅 Criado 2026-01-07
21
janhq/awesome-local-ai

Um incrível repositório de ferramentas de IA locais

janhq
⭐ 1,791 👤 janhq Organization 🕐 Atualizado 2024-11-13 📅 Criado 2023-09-06
22
mlrun/mlrun

MLRun é uma plataforma MLOps de código aberto para construir e gerenciar rapidamente aplicações de ML contínuas em todo o seu ciclo de vida. O MLRun integra-se ao seu ambiente de desenvolvimento e CI/CD e automatiza a entrega de dados de produção, pipelines de ML e aplicações online.

mlrun
⭐ 1,703 Python 👤 mlrun Organization 🕐 Atualizado 2026-11-20 📅 Criado 2019-09-01
23
ollaya-dev/ollaya

Servidor de API compatível com Jev para modelos abertos de tomada de decisão. Ollama para modelos de decisão: baixe e execute localmente 29 famílias de modelos (Laya, pplx-decider, Clef, Winnow, coba...) ou hospede-os por conta própria atrás de /v1/systemone. O SDK TypeSafe funciona sem alterações: defina a URL base e escolha um modelo aberto. CLI, aplicativo para desktop, Docker, servidor MCP e benchmark público.

ollaya-dev
⭐ 1,473 Rust 👤 ollaya-dev Organization 🕐 Atualizado 2026-11-21 📅 Criado 2026-09-23
24
kitops-ml/kitops

Uma ferramenta DevOps de código aberto da CNCF para empacotar e versionar modelos de IA/ML, conjuntos de dados, código e configuração em um Artefato OCI.

kitops-ml
⭐ 1,451 Go 👤 kitops-ml Organization 🕐 Atualizado 2026-11-20 📅 Criado 2024-02-02
25
alibaba/rtp-llm

RTP-LLM: O motor de inferência LLM de alto desempenho da Alibaba para diversas aplicações.

alibaba
⭐ 1,402 Python 👤 alibaba Organization 🕐 Atualizado 2026-11-21 📅 Criado 2023-12-27
26
hemingkx/SpeculativeDecodingPapers

📰 Artigos e blogs imperdíveis sobre Decodificação Especulativa ⚡️

hemingkx
⭐ 1,309 👤 hemingkx User 🕐 Atualizado 2026-06-27 📅 Criado 2023-09-20
27
logicalclocks/hopsworks

Hopsworks - Plataforma de IA intensiva em dados com um Feature Store

logicalclocks
⭐ 1,299 Java 👤 logicalclocks Organization 🕐 Atualizado 2025-02-10 📅 Criado 2018-07-26
28
DataExpert-io/ai-engineer-handbook

Todos os links, livros e criadores que você precisa seguir para ficar atualizado com IA!

DataExpert-io
⭐ 1,261 👤 DataExpert-io Organization 🕐 Atualizado 2026-11-20 📅 Criado 2026-02-16
29
basetenlabs/truss

A maneira mais simples de servir modelos de IA/ML em produção

basetenlabs
⭐ 1,236 Python 👤 basetenlabs Organization 🕐 Atualizado 2026-11-20 📅 Criado 2022-07-06
30
gpu-mode/awesomeMLSys

Uma lista de integração de sistemas de ML

gpu-mode
⭐ 1,154 👤 gpu-mode Organization 🕐 Atualizado 2026-02-19 📅 Criado 2024-05-06
31
efeslab/Nanoflow

Um framework de serviço de alto desempenho orientado a taxa de transferência para LLMs

efeslab
⭐ 978 Jupyter Notebook 👤 efeslab Organization 🕐 Atualizado 2026-03-29 📅 Criado 2024-08-19
32
openvinotoolkit/model_server

Um servidor de inferência escalável para modelos otimizados com OpenVINO™

openvinotoolkit
⭐ 961 C++ 👤 openvinotoolkit Organization 🕐 Atualizado 2026-11-21 📅 Criado 2018-09-26
33
triton-inference-server/tensorrtllm_backend

O Backend Triton TensorRT-LLM

triton-inference-server
⭐ 944 👤 triton-inference-server Organization 🕐 Atualizado 2026-11-02 📅 Criado 2023-09-12
34
replicate/replicate-python

Cliente Python para Replicate

replicate
⭐ 909 Python 👤 replicate Organization 🕐 Atualizado 2025-08-26 📅 Criado 2022-05-11
35
zhihu/ZhiLight

Um motor de aceleração de inferência de LLM altamente otimizado para Llama e suas variantes.

zhihu
⭐ 906 C++ 👤 zhihu Organization 🕐 Atualizado 2026-03-18 📅 Criado 2024-12-06
36
mosecorg/mosec

Um framework de serviço de modelo de ML de alto desempenho, oferece agrupamento dinâmico (dynamic batching) e pipelines de CPU/GPU para explorar totalmente sua máquina de computação

mosecorg
⭐ 905 Python 👤 mosecorg Organization 🕐 Atualizado 2026-11-02 📅 Criado 2021-03-13
37
trainindata/deploying-machine-learning-models

Código para o curso online "Implantação de Modelos de Machine Learning"

trainindata
⭐ 879 Jupyter Notebook 👤 trainindata Organization 🕐 Atualizado 2024-08-20 📅 Criado 2019-01-09
38
InternLM/Intern-S1

Um Modelo Fundamental Multimodal Científico

InternLM
⭐ 876 👤 InternLM Organization 🕐 Atualizado 2026-09-13 📅 Criado 2025-07-25
39
bentoml/Yatai

Implantação de Modelos em Escala no Kubernetes 🦄️

bentoml
⭐ 843 TypeScript 👤 bentoml Organization 🕐 Atualizado 2026-05-30 📅 Criado 2021-07-30
40
Tejas-TA/predikit

A ponte que faltava entre seus modelos de aprendizado de máquina e seus agentes de IA.

Tejas-TA
⭐ 840 Python 👤 Tejas-TA User 🕐 Atualizado 2026-10-28 📅 Criado 2026-05-25
41
pegainfer-project/pegainfer

Motor de inferência LLM puro Rust + CUDA — sem PyTorch, compatível com OpenAI, atende de Qwen3 a Kimi-K2

pegainfer-project
⭐ 748 Rust 👤 pegainfer-project Organization 🕐 Atualizado 2026-11-21 📅 Criado 2026-02-17
42
abhishekkrthakur
⭐ 728 Python 👤 abhishekkrthakur User 🕐 Atualizado 2024-09-14 📅 Criado 2021-10-26
43
ServerlessLLM/ServerlessLLM

Serviço de LLM sem servidor para todos.

ServerlessLLM
⭐ 720 Python 👤 ServerlessLLM Organization 🕐 Atualizado 2026-09-04 📅 Criado 2024-01-23
44
kossisoroyce/timber

Ollama para modelos ML clássicos. Compilador AOT que transforma modelos XGBoost, LightGBM, scikit-learn, CatBoost e ONNX em código de inferência nativo C99. Um comando para carregar, um comando para servir. 336x mais rápido que inferência em Python.

kossisoroyce
⭐ 692 Python 👤 kossisoroyce User 🕐 Atualizado 2026-04-16 📅 Criado 2026-02-27
46
mlfoundations/evalchemy

Avaliações automáticas para LLMs

mlfoundations
⭐ 617 HTML 👤 mlfoundations Organization 🕐 Atualizado 2026-11-12 📅 Criado 2024-11-15
47
eightBEC/fastapi-ml-skeleton

App esqueleto FastAPI para servir modelos de machine learning prontos para produção.

eightBEC
⭐ 601 Python 👤 eightBEC User 🕐 Atualizado 2026-01-08 📅 Criado 2020-02-15
48
predibase/llm_distillation_playbook

Melhores práticas para destilação de modelos de linguagem grandes.

predibase
⭐ 596 Jupyter Notebook 👤 predibase Organization 🕐 Atualizado 2024-02-01 📅 Criado 2023-12-06
49
fufankeji/DeepSeek-OCR-Web

Web Studio de análise de documentos OCR DeepSeek pronto para uso

fufankeji
⭐ 568 TypeScript 👤 fufankeji User 🕐 Atualizado 2025-10-27 📅 Criado 2025-10-23

Perguntas Frequentes

1

Qual é o repositório de #model-serving mais popular no GitHub?

O projeto de código aberto de #model-serving mais bem classificado no GitHub é vllm-project/vllm, com 97,302 estrelas. Um motor de inferência e serviço para LLMs de alto rendimento e eficiente em memória

2

Quais linguagens de programação são mais usadas nos repositórios de #model-serving?

Entre os projetos de #model-serving mais bem classificados no GitHub, as linguagens de programação mais comuns são Python, Go, Rust, Jupyter Notebook.

3

Como é calculada a classificação dos repositórios de #model-serving?

Acompanhamos 51 repositórios ativos de código aberto marcados com #model-serving (com mais de 500 estrelas), totalizando 211,758 estrelas e uma média de 4,152 estrelas por repositório. As classificações são atualizadas diariamente a partir da API do GitHub.