Git Stars Git Stars

#llm-serving Repositórios

Descubra 44 repositórios ativos de código aberto no GitHub marcados com #llm-serving, acumulando um total de 381,346 estrelas (uma média de 8,666 por projeto). O líder deste tópico é vllm-project/vllm, com 97,302 estrelas.

44
Total de Repositórios
381,346
Total de estrelas
8,666
Média de Estrelas/Repositório

44 repositórios no total

1
vllm-project/vllm

Um motor de inferência e serviço para LLMs de alto rendimento e eficiente em memória

vllm-project
⭐ 97,302 Python 👤 vllm-project Organization 🕐 Atualizado 2026-11-21 📅 Criado 2023-02-09
2
exo-explore/exo

Execute o Frontier AI localmente.

exo-explore
⭐ 48,516 Python 👤 exo-explore Organization 🕐 Atualizado 2026-11-06 📅 Criado 2024-06-24
3
ray-project/ray

Ray é um motor de computação de IA. O Ray consiste em um runtime distribuído central e um conjunto de Bibliotecas de IA para acelerar cargas de trabalho de ML.

ray-project
⭐ 44,352 Python 👤 ray-project Organization 🕐 Atualizado 2026-11-21 📅 Criado 2016-10-25
4
lm-sys/FastChat

Uma plataforma aberta para treinamento, serviço e avaliação de grandes modelos de linguagem. Repositório de lançamento para Vicuna e Chatbot Arena.

lm-sys
⭐ 39,550 Python 👤 lm-sys Organization 🕐 Atualizado 2026-05-01 📅 Criado 2023-03-19
5
liguodongiot/llm-action

Este projeto visa compartilhar os princípios técnicos e a experiência prática relacionados a Grandes Modelos (engenharia de Grandes Modelos e implementação de aplicações de Grandes Modelos).

liguodongiot
⭐ 25,297 HTML 👤 liguodongiot User 🕐 Atualizado 2026-10-14 📅 Criado 2023-05-23
6
NVIDIA/TensorRT-LLM

O TensorRT LLM fornece aos usuários uma API Python fácil de usar para definir Modelos de Linguagem Grandes (LLMs) e suporta otimizações de ponta para executar inferências de forma eficiente em GPUs NVIDIA. O TensorRT LLM também contém componentes para criar runtimes Python e C++ que orquestram a execução da inferência de maneira performática.

NVIDIA
⭐ 15,112 Python 👤 NVIDIA Organization 🕐 Atualizado 2026-11-21 📅 Criado 2023-08-16
7
bentoml/OpenLLM

Rode quaisquer LLMs de código aberto, como DeepSeek e Llama, como um endpoint de API compatível com OpenAI na nuvem.

bentoml
⭐ 12,610 Python 👤 bentoml Organization 🕐 Atualizado 2026-11-16 📅 Criado 2023-04-19
8
skypilot-org/skypilot

A plataforma de computação de IA para equipes de ponta. SkyPilot transforma a computação de IA fragmentada em um supercomputador de IA, para que equipes de ponta construam inteligência personalizada mais rapidamente.

skypilot-org
⭐ 10,869 Python 👤 skypilot-org Organization 🕐 Atualizado 2026-11-21 📅 Criado 2021-08-11
9
bentoml/BentoML

A maneira mais fácil de servir aplicativos e modelos de IA - Crie APIs de Inferência de Modelo, filas de tarefas (Job queues), aplicativos LLM, pipelines multimodelos e muito mais!

bentoml
⭐ 8,944 Python 👤 bentoml Organization 🕐 Atualizado 2026-11-17 📅 Criado 2019-04-02
10
bojieli/ai-infra-book

《Compreendendo profundamente a infraestrutura de IA: análise quantitativa e projeto de sistemas》 (de Li Bojie), um manuscrito de livro de código aberto: partindo das restrições de hardware e das arquiteturas dos modelos, deriva quantitativamente o projeto de sistemas de inferência e treinamento de LLMs. Inclui o texto completo, o PDF, ferramentas de cálculo complementares e experimentos.

bojieli
⭐ 8,179 Python 👤 bojieli User 🕐 Atualizado 2026-10-01 📅 Criado 2026-08-22
11
z-lab/dflash

DFlash: Difusão de Blocos para Decodificação Especulativa Flash

z-lab
⭐ 6,254 Python 👤 z-lab Organization 🕐 Atualizado 2026-08-18 📅 Criado 2026-01-04
12
gpustack/gpustack

Um gerenciador de cluster de GPU para serviço de modelos de IA de alto desempenho (vLLM, SGLang) e instâncias de GPU sob demanda acessíveis via SSH.

gpustack
⭐ 6,097 Python 👤 gpustack Organization 🕐 Atualizado 2026-11-20 📅 Criado 2024-05-11
13
sgl-project/mini-sglang

Uma implementação compacta do SGLang, projetada para desmistificar as complexidades dos modernos sistemas de serviço de LLM.

sgl-project
⭐ 5,623 Python 👤 sgl-project Organization 🕐 Atualizado 2026-05-17 📅 Criado 2025-09-01
14
superduper-io/superduper

Superduper: Framework de ponta a ponta para a criação de aplicações e agentes de IA personalizados.

superduper-io
⭐ 5,317 Python 👤 superduper-io Organization 🕐 Atualizado 2025-09-01 📅 Criado 2022-08-30
15
SylphAI-Inc/LLM-engineer-handbook

Uma lista selecionada de recursos de Grandes Modelos de Linguagem, cobrindo treinamento de modelos, serviço, ajuste fino e construção de aplicações LLM.

SylphAI-Inc
⭐ 5,014 👤 SylphAI-Inc Organization 🕐 Atualizado 2025-08-18 📅 Criado 2024-11-04
16
predibase/lorax

Servidor de inferência Multi-LoRA que escala para milhares de LLMs ajustados

predibase
⭐ 3,836 Python 👤 predibase Organization 🕐 Atualizado 2026-05-28 📅 Criado 2023-10-20
17
PaddlePaddle/FastDeploy

Toolkit de Inferência e Implantação de Alto Desempenho para LLMs e VLMs baseado no PaddlePaddle

PaddlePaddle
⭐ 3,722 Python 👤 PaddlePaddle Organization 🕐 Atualizado 2026-09-24 📅 Criado 2022-06-27
18
vllm-project/vllm-ascend

Plugin de hardware para vLLM no Huawei Ascend mantido pela comunidade

vllm-project
⭐ 3,128 Python 👤 vllm-project Organization 🕐 Atualizado 2026-11-21 📅 Criado 2025-01-29
19
thu-pacman/chitu

Framework de inferência de alto desempenho para modelos de linguagem grandes, com foco em eficiência, flexibilidade e disponibilidade.

thu-pacman
⭐ 3,005 Python 👤 thu-pacman Organization 🕐 Atualizado 2026-11-21 📅 Criado 2025-02-20
20
MoonshotAI/MoBA

MoBA: Mistura de Atenção em Blocos para LLMs de Contexto Longo

MoonshotAI
⭐ 2,122 Python 👤 MoonshotAI Organization 🕐 Atualizado 2025-04-03 📅 Criado 2025-02-17
21
microsoft/aici

AICI: Prompts como Programas (Wasm)

microsoft
⭐ 2,077 Rust 👤 microsoft Organization 🕐 Atualizado 2025-01-22 📅 Criado 2023-09-26
22
SemiAnalysisAI/InferenceX

Plataforma de pesquisa em inferência de código aberto

SemiAnalysisAI
⭐ 2,074 Python 👤 SemiAnalysisAI Organization 🕐 Atualizado 2026-11-21 📅 Criado 2025-07-12
23
ovg-project/kvcached

Cache KV elástico virtualizado para compartilhamento dinâmico de GPU e além

ovg-project
⭐ 2,051 Python 👤 ovg-project Organization 🕐 Atualizado 2026-11-20 📅 Criado 2025-05-27
24
HuangOwen/Awesome-LLM-Compression

Trabalhos e ferramentas incríveis de pesquisa sobre compressão de LLM.

HuangOwen
⭐ 1,899 👤 HuangOwen User 🕐 Atualizado 2026-11-16 📅 Criado 2023-05-30
25
RunanywhereAI/trnrt

O mecanismo de inferência de LLM de código aberto para AWS Trainium: megakernels NKI, contexto de 1 milhão de tokens e API compatível com OpenAI. Da RunAnywhere.

RunanywhereAI
⭐ 1,653 Python 👤 RunanywhereAI Organization 🕐 Atualizado 2026-11-20 📅 Criado 2026-10-30
26
GradientHQ/parallax

Parallax é um framework de serviço de modelo distribuído que permite que você construa seu próprio cluster de IA em qualquer lugar

GradientHQ
⭐ 1,429 Python 👤 GradientHQ Organization 🕐 Atualizado 2026-07-01 📅 Criado 2025-09-22
27
peonist-ai/halogen-flash-server

Inferência local com comportamento semelhante ao de uma API de ponta: Qwen3.8-Flash-Next no AMD Strix Halo, além de pequenos modelos NPU, pelas APIs da OpenAI e da Anthropic em uma única porta.

peonist-ai
⭐ 1,412 Shell 👤 peonist-ai Organization 🕐 Atualizado 2026-11-18 📅 Criado 2026-08-26
28
alibaba/rtp-llm

RTP-LLM: O motor de inferência LLM de alto desempenho da Alibaba para diversas aplicações.

alibaba
⭐ 1,402 Python 👤 alibaba Organization 🕐 Atualizado 2026-11-21 📅 Criado 2023-12-27
29
microsoft/MInference

[Destaque NeurIPS'24, ICLR'25, ICML'25] Para acelerar a inferência de LLMs de contexto longo, o cálculo esparso, aproximado e dinâmico é aplicado à atenção, o que reduz a latência de inferência em até 10x no pré-preenchimento em uma A100, mantendo a precisão.

microsoft
⭐ 1,230 Python 👤 microsoft Organization 🕐 Atualizado 2026-11-18 📅 Criado 2024-05-22
30
efeslab/Nanoflow

Um framework de serviço de alto desempenho orientado a taxa de transferência para LLMs

efeslab
⭐ 978 Jupyter Notebook 👤 efeslab Organization 🕐 Atualizado 2026-03-29 📅 Criado 2024-08-19
31
zhihu/ZhiLight

Um motor de aceleração de inferência de LLM altamente otimizado para Llama e suas variantes.

zhihu
⭐ 906 C++ 👤 zhihu Organization 🕐 Atualizado 2026-03-18 📅 Criado 2024-12-06
32
mosecorg/mosec

Um framework de serviço de modelo de ML de alto desempenho, oferece agrupamento dinâmico (dynamic batching) e pipelines de CPU/GPU para explorar totalmente sua máquina de computação

mosecorg
⭐ 905 Python 👤 mosecorg Organization 🕐 Atualizado 2026-11-02 📅 Criado 2021-03-13
33
triton-inference-server/tutorials

Este repositório contém tutoriais e exemplos para o Triton Inference Server

triton-inference-server
⭐ 869 Python 👤 triton-inference-server Organization 🕐 Atualizado 2026-11-17 📅 Criado 2022-12-16
34
mit-han-lab/omniserve

[MLSys'25] QServe: Quantização W4A8KV4 e Co-design de Sistema para Servir LLM de Forma Eficiente; [MLSys'25] LServe: Servir LLM de Sequência Longa de Forma Eficiente com Atenção Esparsa Unificada

mit-han-lab
⭐ 840 C++ 👤 mit-han-lab Organization 🕐 Atualizado 2025-03-06 📅 Criado 2024-05-06
35
helixml/helix

♾️ Frota de Agentes Privados com Codificação Específica. Cada agente recebe seu próprio desktop acelerado por GPU. Execute Claude, Codex, Gemini e modelos abertos em uma Pilha de IA Privada Completa ♾️

helixml
⭐ 833 Go 👤 helixml Organization 🕐 Atualizado 2026-11-20 📅 Criado 2023-10-17
36
LLMServe/DistServe

Sistema de serviço desagregado para Modelos de Linguagem Grandes (LLMs).

LLMServe
⭐ 817 Jupyter Notebook 👤 LLMServe Organization 🕐 Atualizado 2025-04-06 📅 Criado 2024-01-16
37
ARahim3/kaggle-tpu-lab

Modelos abertos de nível de fronteira em uma TPU v5e-8 gratuita da Kaggle: GLM-5.3-Flash 320B MoE (~165 tokens/s, com nosso próprio mecanismo JAX) e Qwen3.8-27B bf16 (~130 tokens/s), contexto de 262k e cache de prefixos. Funciona com Claude Code, Codex, opencode e pi.

ARahim3
⭐ 812 Python 👤 ARahim3 User 🕐 Atualizado 2026-10-06 📅 Criado 2026-08-31
38
nunchaku-ai/deepcompressor

Caixa de Ferramentas de Compressão de Modelos para Grandes Modelos de Linguagem e Modelos de Difusão

nunchux-ai
⭐ 799 Python 👤 nunchux-ai Organization 🕐 Atualizado 2025-08-14 📅 Criado 2024-05-06
39
pegainfer-project/pegainfer

Motor de inferência LLM puro Rust + CUDA — sem PyTorch, compatível com OpenAI, atende de Qwen3 a Kimi-K2

pegainfer-project
⭐ 748 Rust 👤 pegainfer-project Organization 🕐 Atualizado 2026-11-21 📅 Criado 2026-02-17
40
owenliang/qwen-vllm

Tongyi Qianwen VLLM Inferência Implantação DEMO

owenliang
⭐ 637 Python 👤 owenliang User 🕐 Atualizado 2024-03-28 📅 Criado 2024-01-21
42
rohan-paul/LLM-FineTuning-Large-Language-Models

Ajuste Fino de LLM (Large Language Model)

rohan-paul
⭐ 574 Jupyter Notebook 👤 rohan-paul User 🕐 Atualizado 2025-04-01 📅 Criado 2023-10-22
43
llumnix-project/llumnix-ray

Serviço eficiente e fácil de LLM multi-instância

llumnix-project
⭐ 561 Python 👤 llumnix-project Organization 🕐 Atualizado 2026-03-12 📅 Criado 2024-05-20
44
OmniJev/Flide

🔥🔥 O mecanismo de inferência extremamente rápido para modelos de decisão

OmniJev
⭐ 550 Python 👤 OmniJev Organization 🕐 Atualizado 2026-11-21 📅 Criado 2026-10-24

Perguntas Frequentes

1

Qual é o repositório de #llm-serving mais popular no GitHub?

O projeto de código aberto de #llm-serving mais bem classificado no GitHub é vllm-project/vllm, com 97,302 estrelas. Um motor de inferência e serviço para LLMs de alto rendimento e eficiente em memória

2

Quais linguagens de programação são mais usadas nos repositórios de #llm-serving?

Entre os projetos de #llm-serving mais bem classificados no GitHub, as linguagens de programação mais comuns são Python, Jupyter Notebook, Rust, C++.

3

Como é calculada a classificação dos repositórios de #llm-serving?

Acompanhamos 44 repositórios ativos de código aberto marcados com #llm-serving (com mais de 500 estrelas), totalizando 381,346 estrelas e uma média de 8,666 estrelas por repositório. As classificações são atualizadas diariamente a partir da API do GitHub.