#llm-serving Repositórios
Descubra 44 repositórios ativos de código aberto no GitHub marcados com #llm-serving, acumulando um total de 381,346 estrelas (uma média de 8,666 por projeto). O líder deste tópico é vllm-project/vllm, com 97,302 estrelas.
44 repositórios no total
Um motor de inferência e serviço para LLMs de alto rendimento e eficiente em memória
Ray é um motor de computação de IA. O Ray consiste em um runtime distribuído central e um conjunto de Bibliotecas de IA para acelerar cargas de trabalho de ML.
Uma plataforma aberta para treinamento, serviço e avaliação de grandes modelos de linguagem. Repositório de lançamento para Vicuna e Chatbot Arena.
Este projeto visa compartilhar os princípios técnicos e a experiência prática relacionados a Grandes Modelos (engenharia de Grandes Modelos e implementação de aplicações de Grandes Modelos).
O TensorRT LLM fornece aos usuários uma API Python fácil de usar para definir Modelos de Linguagem Grandes (LLMs) e suporta otimizações de ponta para executar inferências de forma eficiente em GPUs NVIDIA. O TensorRT LLM também contém componentes para criar runtimes Python e C++ que orquestram a execução da inferência de maneira performática.
Rode quaisquer LLMs de código aberto, como DeepSeek e Llama, como um endpoint de API compatível com OpenAI na nuvem.
A plataforma de computação de IA para equipes de ponta. SkyPilot transforma a computação de IA fragmentada em um supercomputador de IA, para que equipes de ponta construam inteligência personalizada mais rapidamente.
A maneira mais fácil de servir aplicativos e modelos de IA - Crie APIs de Inferência de Modelo, filas de tarefas (Job queues), aplicativos LLM, pipelines multimodelos e muito mais!
《Compreendendo profundamente a infraestrutura de IA: análise quantitativa e projeto de sistemas》 (de Li Bojie), um manuscrito de livro de código aberto: partindo das restrições de hardware e das arquiteturas dos modelos, deriva quantitativamente o projeto de sistemas de inferência e treinamento de LLMs. Inclui o texto completo, o PDF, ferramentas de cálculo complementares e experimentos.
Um gerenciador de cluster de GPU para serviço de modelos de IA de alto desempenho (vLLM, SGLang) e instâncias de GPU sob demanda acessíveis via SSH.
Uma implementação compacta do SGLang, projetada para desmistificar as complexidades dos modernos sistemas de serviço de LLM.
Superduper: Framework de ponta a ponta para a criação de aplicações e agentes de IA personalizados.
Uma lista selecionada de recursos de Grandes Modelos de Linguagem, cobrindo treinamento de modelos, serviço, ajuste fino e construção de aplicações LLM.
Toolkit de Inferência e Implantação de Alto Desempenho para LLMs e VLMs baseado no PaddlePaddle
Framework de inferência de alto desempenho para modelos de linguagem grandes, com foco em eficiência, flexibilidade e disponibilidade.
Trabalhos e ferramentas incríveis de pesquisa sobre compressão de LLM.
O mecanismo de inferência de LLM de código aberto para AWS Trainium: megakernels NKI, contexto de 1 milhão de tokens e API compatível com OpenAI. Da RunAnywhere.
Parallax é um framework de serviço de modelo distribuído que permite que você construa seu próprio cluster de IA em qualquer lugar
Inferência local com comportamento semelhante ao de uma API de ponta: Qwen3.8-Flash-Next no AMD Strix Halo, além de pequenos modelos NPU, pelas APIs da OpenAI e da Anthropic em uma única porta.
RTP-LLM: O motor de inferência LLM de alto desempenho da Alibaba para diversas aplicações.
[Destaque NeurIPS'24, ICLR'25, ICML'25] Para acelerar a inferência de LLMs de contexto longo, o cálculo esparso, aproximado e dinâmico é aplicado à atenção, o que reduz a latência de inferência em até 10x no pré-preenchimento em uma A100, mantendo a precisão.
Um framework de serviço de alto desempenho orientado a taxa de transferência para LLMs
Um motor de aceleração de inferência de LLM altamente otimizado para Llama e suas variantes.
Um framework de serviço de modelo de ML de alto desempenho, oferece agrupamento dinâmico (dynamic batching) e pipelines de CPU/GPU para explorar totalmente sua máquina de computação
Este repositório contém tutoriais e exemplos para o Triton Inference Server
[MLSys'25] QServe: Quantização W4A8KV4 e Co-design de Sistema para Servir LLM de Forma Eficiente; [MLSys'25] LServe: Servir LLM de Sequência Longa de Forma Eficiente com Atenção Esparsa Unificada
♾️ Frota de Agentes Privados com Codificação Específica. Cada agente recebe seu próprio desktop acelerado por GPU. Execute Claude, Codex, Gemini e modelos abertos em uma Pilha de IA Privada Completa ♾️
Modelos abertos de nível de fronteira em uma TPU v5e-8 gratuita da Kaggle: GLM-5.3-Flash 320B MoE (~165 tokens/s, com nosso próprio mecanismo JAX) e Qwen3.8-27B bf16 (~130 tokens/s), contexto de 262k e cache de prefixos. Funciona com Claude Code, Codex, opencode e pi.
Caixa de Ferramentas de Compressão de Modelos para Grandes Modelos de Linguagem e Modelos de Difusão
Motor de inferência LLM puro Rust + CUDA — sem PyTorch, compatível com OpenAI, atende de Qwen3 a Kimi-K2
Perguntas Frequentes
Qual é o repositório de #llm-serving mais popular no GitHub?
O projeto de código aberto de #llm-serving mais bem classificado no GitHub é vllm-project/vllm, com 97,302 estrelas. Um motor de inferência e serviço para LLMs de alto rendimento e eficiente em memória
Quais linguagens de programação são mais usadas nos repositórios de #llm-serving?
Entre os projetos de #llm-serving mais bem classificados no GitHub, as linguagens de programação mais comuns são Python, Jupyter Notebook, Rust, C++.
Como é calculada a classificação dos repositórios de #llm-serving?
Acompanhamos 44 repositórios ativos de código aberto marcados com #llm-serving (com mais de 500 estrelas), totalizando 381,346 estrelas e uma média de 8,666 estrelas por repositório. As classificações são atualizadas diariamente a partir da API do GitHub.