Git Stars Git Stars

#llm-serving Repositorios

Descubre 44 repositorios activos de código abierto de GitHub etiquetados con #llm-serving, que acumulan 381,346 estrellas en total (una media de 8,666 estrellas por proyecto). El líder de este tema es vllm-project/vllm, con 97,302 estrellas.

44
Total de Repositorios
381,346
Total de estrellas
8,666
Promedio de Estrellas/Repo

44 repositorios en total

1
vllm-project/vllm

Un motor de inferencia y servicio para LLM de alto rendimiento y eficiente en memoria

vllm-project
⭐ 97,302 Python 👤 vllm-project Organization 🕐 Actualizado 2026-11-21 📅 Creado 2023-02-09
2
exo-explore/exo

Ejecuta Frontier AI localmente.

exo-explore
⭐ 48,516 Python 👤 exo-explore Organization 🕐 Actualizado 2026-11-06 📅 Creado 2024-06-24
3
ray-project/ray

Ray es un motor de cómputo de IA. Ray consiste en un runtime distribuido central y un conjunto de bibliotecas de IA para acelerar cargas de trabajo de ML.

ray-project
⭐ 44,352 Python 👤 ray-project Organization 🕐 Actualizado 2026-11-21 📅 Creado 2016-10-25
4
lm-sys/FastChat

Una plataforma abierta para entrenar, servir y evaluar grandes modelos de lenguaje. Repositorio de lanzamiento para Vicuna y Chatbot Arena.

lm-sys
⭐ 39,550 Python 👤 lm-sys Organization 🕐 Actualizado 2026-05-01 📅 Creado 2023-03-19
5
liguodongiot/llm-action

Este proyecto tiene como objetivo compartir los principios técnicos y la experiencia práctica relacionados con modelos grandes (ingeniería de modelos grandes, implementación práctica de modelos grandes).

liguodongiot
⭐ 25,297 HTML 👤 liguodongiot User 🕐 Actualizado 2026-10-14 📅 Creado 2023-05-23
6
NVIDIA/TensorRT-LLM

TensorRT LLM proporciona a los usuarios una API de Python fácil de usar para definir Modelos de Lenguaje Grandes (LLM) y admite optimizaciones de vanguardia para realizar inferencias de manera eficiente en GPUs NVIDIA. TensorRT LLM también contiene componentes para crear tiempos de ejecución de Python y C++ que orquestan la ejecución de la inferencia de manera performante.

NVIDIA
⭐ 15,112 Python 👤 NVIDIA Organization 🕐 Actualizado 2026-11-21 📅 Creado 2023-08-16
7
bentoml/OpenLLM

Ejecute cualquier LLM de código abierto, como DeepSeek y Llama, como un endpoint API compatible con OpenAI en la nube.

bentoml
⭐ 12,610 Python 👤 bentoml Organization 🕐 Actualizado 2026-11-16 📅 Creado 2023-04-19
8
skypilot-org/skypilot

La plataforma de cómputo de IA para equipos de vanguardia. SkyPilot convierte el cómputo de IA fragmentado en una supercomputadora de IA, para que los equipos de vanguardia construyan inteligencia personalizada más rápido.

skypilot-org
⭐ 10,869 Python 👤 skypilot-org Organization 🕐 Actualizado 2026-11-21 📅 Creado 2021-08-11
9
bentoml/BentoML

La forma más fácil de servir aplicaciones y modelos de IA - ¡Construye APIs de inferencia de modelo, colas de trabajos, apps LLM, pipelines multi-modelo y más!

bentoml
⭐ 8,944 Python 👤 bentoml Organization 🕐 Actualizado 2026-11-17 📅 Creado 2019-04-02
10
bojieli/ai-infra-book

《Comprender en profundidad la infraestructura de IA: análisis cuantitativo y diseño de sistemas》 (por Li Bojie), un manuscrito de libro de código abierto: partiendo de las restricciones del hardware y de las arquitecturas de los modelos, deriva cuantitativamente el diseño de sistemas de inferencia y entrenamiento de LLM. Incluye el texto completo, el PDF, herramientas de cálculo complementarias y experimentos.

bojieli
⭐ 8,179 Python 👤 bojieli User 🕐 Actualizado 2026-10-01 📅 Creado 2026-08-22
11
z-lab/dflash

DFlash: Difusión de bloques para la decodificación especulativa Flash

z-lab
⭐ 6,254 Python 👤 z-lab Organization 🕐 Actualizado 2026-08-18 📅 Creado 2026-01-04
12
gpustack/gpustack

Un gestor de clústeres de GPU para el servicio de modelos de IA de alto rendimiento (vLLM, SGLang) e instancias de GPU bajo demanda accesibles mediante SSH.

gpustack
⭐ 6,097 Python 👤 gpustack Organization 🕐 Actualizado 2026-11-20 📅 Creado 2024-05-11
13
sgl-project/mini-sglang

Una implementación compacta de SGLang, diseñada para desmitificar las complejidades de los modernos sistemas de servicio de LLM.

sgl-project
⭐ 5,623 Python 👤 sgl-project Organization 🕐 Actualizado 2026-05-17 📅 Creado 2025-09-01
14
superduper-io/superduper

Superduper: Framework de extremo a extremo para la creación de aplicaciones y agentes de IA personalizados.

superduper-io
⭐ 5,317 Python 👤 superduper-io Organization 🕐 Actualizado 2025-09-01 📅 Creado 2022-08-30
15
SylphAI-Inc/LLM-engineer-handbook

Una lista curada de recursos de Modelos de Lenguaje Grandes, que cubren el entrenamiento, servicio, ajuste fino y la creación de aplicaciones LLM.

SylphAI-Inc
⭐ 5,014 👤 SylphAI-Inc Organization 🕐 Actualizado 2025-08-18 📅 Creado 2024-11-04
16
predibase/lorax

Servidor de inferencia Multi-LoRA que escala a miles de LLM afinados

predibase
⭐ 3,836 Python 👤 predibase Organization 🕐 Actualizado 2026-05-28 📅 Creado 2023-10-20
17
PaddlePaddle/FastDeploy

Toolkit de inferencia y despliegue de alto rendimiento para LLM y VLM basado en PaddlePaddle

PaddlePaddle
⭐ 3,722 Python 👤 PaddlePaddle Organization 🕐 Actualizado 2026-09-24 📅 Creado 2022-06-27
18
vllm-project/vllm-ascend

Plugin de hardware para vLLM en Huawei Ascend mantenido por la comunidad

vllm-project
⭐ 3,128 Python 👤 vllm-project Organization 🕐 Actualizado 2026-11-21 📅 Creado 2025-01-29
19
thu-pacman/chitu

Marco de inferencia de alto rendimiento para modelos de lenguaje grandes, centrado en la eficiencia, la flexibilidad y la disponibilidad.

thu-pacman
⭐ 3,005 Python 👤 thu-pacman Organization 🕐 Actualizado 2026-11-21 📅 Creado 2025-02-20
20
MoonshotAI/MoBA

MoBA: Mezcla de Atención por Bloques para LLM de Contexto Largo

MoonshotAI
⭐ 2,122 Python 👤 MoonshotAI Organization 🕐 Actualizado 2025-04-03 📅 Creado 2025-02-17
21
microsoft/aici

AICI: Prompts como programas (Wasm)

microsoft
⭐ 2,077 Rust 👤 microsoft Organization 🕐 Actualizado 2025-01-22 📅 Creado 2023-09-26
22
SemiAnalysisAI/InferenceX

Plataforma de investigación de inferencia de código abierto

SemiAnalysisAI
⭐ 2,074 Python 👤 SemiAnalysisAI Organization 🕐 Actualizado 2026-11-21 📅 Creado 2025-07-12
23
ovg-project/kvcached

Caché KV elástico virtualizado para el uso compartido dinámico de GPU y más allá

ovg-project
⭐ 2,051 Python 👤 ovg-project Organization 🕐 Actualizado 2026-11-20 📅 Creado 2025-05-27
24
HuangOwen/Awesome-LLM-Compression

Excelentes artículos de investigación y herramientas de compresión de LLMs.

HuangOwen
⭐ 1,899 👤 HuangOwen User 🕐 Actualizado 2026-11-16 📅 Creado 2023-05-30
25
RunanywhereAI/trnrt

El motor de inferencia de LLM de código abierto para AWS Trainium: megakernels NKI, contexto de 1 millón de tokens y API compatible con OpenAI. De RunAnywhere.

RunanywhereAI
⭐ 1,653 Python 👤 RunanywhereAI Organization 🕐 Actualizado 2026-11-20 📅 Creado 2026-10-30
26
GradientHQ/parallax

Parallax es un framework de servicio de modelos distribuido que te permite construir tu propio clúster de IA en cualquier lugar

GradientHQ
⭐ 1,429 Python 👤 GradientHQ Organization 🕐 Actualizado 2026-07-01 📅 Creado 2025-09-22
27
peonist-ai/halogen-flash-server

Inferencia local con un comportamiento similar al de una API de vanguardia: Qwen3.8-Flash-Next en AMD Strix Halo, junto con pequeños modelos NPU, a través de las API de OpenAI y Anthropic en un mismo puerto.

peonist-ai
⭐ 1,412 Shell 👤 peonist-ai Organization 🕐 Actualizado 2026-11-18 📅 Creado 2026-08-26
28
alibaba/rtp-llm

RTP-LLM: El motor de inferencia LLM de alto rendimiento de Alibaba para diversas aplicaciones.

alibaba
⭐ 1,402 Python 👤 alibaba Organization 🕐 Actualizado 2026-11-21 📅 Creado 2023-12-27
29
microsoft/MInference

[NeurIPS'24 Spotlight, ICLR'25, ICML'25] Para acelerar la inferencia de LLM de contexto largo, el cálculo disperso aproximado y dinámico de la atención reduce la latencia de inferencia hasta 10 veces para el prellenado en un A100, manteniendo la precisión.

microsoft
⭐ 1,230 Python 👤 microsoft Organization 🕐 Actualizado 2026-11-18 📅 Creado 2024-05-22
30
efeslab/Nanoflow

Un framework de servicio de alto rendimiento orientado al rendimiento para LLM

efeslab
⭐ 978 Jupyter Notebook 👤 efeslab Organization 🕐 Actualizado 2026-03-29 📅 Creado 2024-08-19
31
zhihu/ZhiLight

Un motor de aceleración de inferencia LLM altamente optimizado para Llama y sus variantes.

zhihu
⭐ 906 C++ 👤 zhihu Organization 🕐 Actualizado 2026-03-18 📅 Creado 2024-12-06
32
mosecorg/mosec

Un framework de servicio de modelos de ML de alto rendimiento, ofrece procesamiento por lotes dinámico y canalizaciones de CPU/GPU para aprovechar al máximo su máquina de cómputo

mosecorg
⭐ 905 Python 👤 mosecorg Organization 🕐 Actualizado 2026-11-02 📅 Creado 2021-03-13
33
triton-inference-server/tutorials

Este repositorio contiene tutoriales y ejemplos para Triton Inference Server

triton-inference-server
⭐ 869 Python 👤 triton-inference-server Organization 🕐 Actualizado 2026-11-17 📅 Creado 2022-12-16
34
mit-han-lab/omniserve

[MLSys'25] QServe: Cuantificación W4A8KV4 y codesign de sistemas para un servicio de LLM eficiente; [MLSys'25] LServe: Servicio eficiente de LLM para secuencias largas con atención dispersa unificada

mit-han-lab
⭐ 840 C++ 👤 mit-han-lab Organization 🕐 Actualizado 2025-03-06 📅 Creado 2024-05-06
35
helixml/helix

♾️ Flota de Agentes Privados con Codificación Específica. Cada agente obtiene su propio escritorio acelerado por GPU. Ejecuta Claude, Codex, Gemini y modelos abiertos en una Pila de IA Privada Completa ♾️

helixml
⭐ 833 Go 👤 helixml Organization 🕐 Actualizado 2026-11-20 📅 Creado 2023-10-17
36
LLMServe/DistServe

Sistema de servicio desagregado para modelos de lenguaje grandes (LLMs).

LLMServe
⭐ 817 Jupyter Notebook 👤 LLMServe Organization 🕐 Actualizado 2025-04-06 📅 Creado 2024-01-16
37
ARahim3/kaggle-tpu-lab

Modelos abiertos de nivel frontera en una TPU v5e-8 gratuita de Kaggle: GLM-5.3-Flash 320B MoE (~165 tokens/s, con nuestro propio motor JAX) y Qwen3.8-27B bf16 (~130 tokens/s), contexto de 262k y caché de prefijos. Funciona con Claude Code, Codex, opencode y pi.

ARahim3
⭐ 812 Python 👤 ARahim3 User 🕐 Actualizado 2026-10-06 📅 Creado 2026-08-31
38
nunchaku-ai/deepcompressor

Caja de herramientas de compresión de modelos para modelos de lenguaje grandes y modelos de difusión

nunchux-ai
⭐ 799 Python 👤 nunchux-ai Organization 🕐 Actualizado 2025-08-14 📅 Creado 2024-05-06
39
pegainfer-project/pegainfer

Motor de inferencia LLM puro Rust + CUDA — sin PyTorch, compatible con OpenAI, sirve desde Qwen3 hasta Kimi-K2

pegainfer-project
⭐ 748 Rust 👤 pegainfer-project Organization 🕐 Actualizado 2026-11-21 📅 Creado 2026-02-17
40
owenliang/qwen-vllm

Tongyi Qianwen VLLM Despliegue de Inferencia DEMO

owenliang
⭐ 637 Python 👤 owenliang User 🕐 Actualizado 2024-03-28 📅 Creado 2024-01-21
42
rohan-paul/LLM-FineTuning-Large-Language-Models

Ajuste Fino de LLM (Large Language Model)

rohan-paul
⭐ 574 Jupyter Notebook 👤 rohan-paul User 🕐 Actualizado 2025-04-01 📅 Creado 2023-10-22
43
llumnix-project/llumnix-ray

Servicio eficiente y fácil de LLM multiinstancia

llumnix-project
⭐ 561 Python 👤 llumnix-project Organization 🕐 Actualizado 2026-03-12 📅 Creado 2024-05-20
44
OmniJev/Flide

🔥🔥 El motor de inferencia ultrarrápido para modelos de decisión

OmniJev
⭐ 550 Python 👤 OmniJev Organization 🕐 Actualizado 2026-11-21 📅 Creado 2026-10-24

Preguntas frecuentes

1

¿Cuál es el repositorio de #llm-serving más popular en GitHub?

El proyecto de código abierto de #llm-serving mejor posicionado en GitHub es vllm-project/vllm, con 97,302 estrellas. Un motor de inferencia y servicio para LLM de alto rendimiento y eficiente en memoria

2

¿Qué lenguajes de programación se utilizan más en los repositorios de #llm-serving?

Entre los proyectos de #llm-serving mejor posicionados en GitHub, los lenguajes de programación más comunes son Python, Jupyter Notebook, Rust, C++.

3

¿Cómo se calcula la clasificación de los repositorios de #llm-serving?

Seguimos 44 repositorios activos de código abierto etiquetados con #llm-serving (500+ estrellas), que suman un total de 381,346 estrellas, con una media de 8,666 estrellas por repositorio. Las clasificaciones se actualizan diariamente a partir de la API de GitHub.