#model-serving Repositórios
Descubra 51 repositórios ativos de código aberto no GitHub marcados com #model-serving, acumulando um total de 211,758 estrelas (uma média de 4,152 por projeto). O líder deste tópico é vllm-project/vllm, com 97,302 estrelas.
51 repositórios no total
Um motor de inferência e serviço para LLMs de alto rendimento e eficiente em memória
A maneira mais fácil de servir aplicativos e modelos de IA - Crie APIs de Inferência de Modelo, filas de tarefas (Job queues), aplicativos LLM, pipelines multimodelos e muito mais!
Uma estrutura para inferência de modelo eficiente com modelos de omni-modalidade
Orquestração distribuída e type-safe de agentes, pipelines de ML e inferência em tempo real no seu k8s — em Python puro com async/await, além de outras linguagens (Rust, Go e TypeScript)
Plataforma Padronizada de Inferência de IA Generativa e Preditiva Distribuída para Implantação Escalável e Multi-Framework no Kubernetes
Neste repositório, compartilharei algumas notas e referências úteis sobre a implantação de modelos baseados em aprendizado profundo em produção.
LightLLM é um framework de inferência e serviço de LLM (Large Language Model) baseado em Python, notável por seu design leve, escalabilidade fácil e desempenho de alta velocidade.
🚀 Sistema Incrível para Aprendizado de Máquina ⚡️ Artigos sobre Sistemas de IA e Prática da Indústria. ⚡️ Sistema para Aprendizado de Máquina, LLM (Large Language Model), GenAI (Generative AI). 🍻 OSDI, NSDI, SIGCOMM, SoCC, MLSys, etc. 🗃️ Llama3, Mistral, etc. 🧑💻 Tutoriais em Vídeo.
FEDML - A biblioteca de ML unificada e escalável para treinamento distribuído em larga escala, serviço de modelo e aprendizado federado. O FEDML Launch, um agendador multi-cloud, permite ainda a execução de quaisquer tarefas de IA em qualquer cloud de GPU ou cluster local. Construída sobre esta biblioteca, a TensorOpera AI (https://TensorOpera.ai) é a sua plataforma de IA generativa em escala.
OpenLake é um motor de armazenamento de alto desempenho para inferência de LLM e treinamento de GPU eficientes
Framework de inferência de alto desempenho para modelos de linguagem grandes, com foco em eficiência, flexibilidade e disponibilidade.
Ambiente de execução de alto desempenho para servir sistemas de superinteligência interativos
MLRun é uma plataforma MLOps de código aberto para construir e gerenciar rapidamente aplicações de ML contínuas em todo o seu ciclo de vida. O MLRun integra-se ao seu ambiente de desenvolvimento e CI/CD e automatiza a entrega de dados de produção, pipelines de ML e aplicações online.
Servidor de API compatível com Jev para modelos abertos de tomada de decisão. Ollama para modelos de decisão: baixe e execute localmente 29 famílias de modelos (Laya, pplx-decider, Clef, Winnow, coba...) ou hospede-os por conta própria atrás de /v1/systemone. O SDK TypeSafe funciona sem alterações: defina a URL base e escolha um modelo aberto. CLI, aplicativo para desktop, Docker, servidor MCP e benchmark público.
Uma ferramenta DevOps de código aberto da CNCF para empacotar e versionar modelos de IA/ML, conjuntos de dados, código e configuração em um Artefato OCI.
RTP-LLM: O motor de inferência LLM de alto desempenho da Alibaba para diversas aplicações.
📰 Artigos e blogs imperdíveis sobre Decodificação Especulativa ⚡️
Todos os links, livros e criadores que você precisa seguir para ficar atualizado com IA!
Um framework de serviço de alto desempenho orientado a taxa de transferência para LLMs
Um servidor de inferência escalável para modelos otimizados com OpenVINO™
Um motor de aceleração de inferência de LLM altamente otimizado para Llama e suas variantes.
Um framework de serviço de modelo de ML de alto desempenho, oferece agrupamento dinâmico (dynamic batching) e pipelines de CPU/GPU para explorar totalmente sua máquina de computação
Código para o curso online "Implantação de Modelos de Machine Learning"
A ponte que faltava entre seus modelos de aprendizado de máquina e seus agentes de IA.
Motor de inferência LLM puro Rust + CUDA — sem PyTorch, compatível com OpenAI, atende de Qwen3 a Kimi-K2
Ollama para modelos ML clássicos. Compilador AOT que transforma modelos XGBoost, LightGBM, scikit-learn, CatBoost e ONNX em código de inferência nativo C99. Um comando para carregar, um comando para servir. 336x mais rápido que inferência em Python.
App esqueleto FastAPI para servir modelos de machine learning prontos para produção.
Melhores práticas para destilação de modelos de linguagem grandes.
Perguntas Frequentes
Qual é o repositório de #model-serving mais popular no GitHub?
O projeto de código aberto de #model-serving mais bem classificado no GitHub é vllm-project/vllm, com 97,302 estrelas. Um motor de inferência e serviço para LLMs de alto rendimento e eficiente em memória
Quais linguagens de programação são mais usadas nos repositórios de #model-serving?
Entre os projetos de #model-serving mais bem classificados no GitHub, as linguagens de programação mais comuns são Python, Go, Rust, Jupyter Notebook.
Como é calculada a classificação dos repositórios de #model-serving?
Acompanhamos 51 repositórios ativos de código aberto marcados com #model-serving (com mais de 500 estrelas), totalizando 211,758 estrelas e uma média de 4,152 estrelas por repositório. As classificações são atualizadas diariamente a partir da API do GitHub.