Git Stars Git Stars

#model-serving Repositorios

Descubre 51 repositorios activos de código abierto de GitHub etiquetados con #model-serving, que acumulan 211,758 estrellas en total (una media de 4,152 estrellas por proyecto). El líder de este tema es vllm-project/vllm, con 97,302 estrellas.

51
Total de Repositorios
211,758
Total de estrellas
4,152
Promedio de Estrellas/Repo

51 repositorios en total

1
vllm-project/vllm

Un motor de inferencia y servicio para LLM de alto rendimiento y eficiente en memoria

vllm-project
⭐ 97,302 Python 👤 vllm-project Organization 🕐 Actualizado 2026-11-21 📅 Creado 2023-02-09
2
bentoml/BentoML

La forma más fácil de servir aplicaciones y modelos de IA - ¡Construye APIs de inferencia de modelo, colas de trabajos, apps LLM, pipelines multi-modelo y más!

bentoml
⭐ 8,944 Python 👤 bentoml Organization 🕐 Actualizado 2026-11-17 📅 Creado 2019-04-02
3
vllm-project/vllm-omni

Un marco para la inferencia de modelo eficiente con modelos de omnimodalidad

vllm-project
⭐ 7,884 Python 👤 vllm-project Organization 🕐 Actualizado 2026-11-21 📅 Creado 2025-09-11
4
flyteorg/flyte

Orquestación distribuida y con seguridad de tipos de agentes, canalizaciones de ML e inferencia en tiempo real en tu k8s, en Python puro con async/await y también en otros lenguajes (Rust, Go y TypeScript)

flyteorg
⭐ 7,801 Go 👤 flyteorg Organization 🕐 Actualizado 2026-11-21 📅 Creado 2019-10-21
5
zhaochenyang20/Awesome-ML-SYS-Tutorial

Mis apuntes de aprendizaje para ML SYS.

zhaochenyang20
⭐ 7,695 HTML 👤 zhaochenyang20 User 🕐 Actualizado 2026-10-21 📅 Creado 2024-11-09
6
kserve/kserve

Plataforma de inferencia de IA generativa y predictiva distribuida estandarizada para despliegue escalable y multi-framework en Kubernetes

kserve
⭐ 6,253 Go 👤 kserve Organization 🕐 Actualizado 2026-11-20 📅 Creado 2019-03-27
7
beclab/Olares

Sistema operativo de nube personal de código abierto para agentes siempre activos

beclab
⭐ 5,373 Go 👤 beclab Organization 🕐 Actualizado 2026-11-21 📅 Creado 2024-04-29
8
ahkarami/Deep-Learning-in-Production

En este repositorio, compartiré algunas notas y referencias útiles sobre el despliegue de modelos basados en deep learning en producción.

ahkarami
⭐ 4,380 👤 ahkarami User 🕐 Actualizado 2024-11-09 📅 Creado 2018-05-03
9
ModelTC/LightLLM

LightLLM es un framework basado en Python para la inferencia y el servicio de LLM (Modelos de Lenguaje Grandes), notable por su diseño ligero, fácil escalabilidad y rendimiento de alta velocidad.

ModelTC
⭐ 4,368 Python 👤 ModelTC Organization 🕐 Actualizado 2026-11-21 📅 Creado 2023-07-22
10
HuaizhengZhang/AI-Infra-from-Zero-to-Hero

🚀 Sistema Impresionante para Machine Learning ⚡️ Papeles de Sistemas AI y Práctica Industrial. ⚡️ Sistema para Machine Learning, LLM (Large Language Model), GenAI (Generative AI). 🍻 OSDI, NSDI, SIGCOMM, SoCC, MLSys, etc. 🗃️ Llama3, Mistral, etc. 🧑‍💻 Tutoriales en Video.

HuaizhengZhang
⭐ 4,224 👤 HuaizhengZhang User 🕐 Actualizado 2025-07-25 📅 Creado 2019-01-07
11
FedML-AI/FedML

FEDML: la biblioteca de ML unificada y escalable para entrenamiento distribuido a gran escala, servicio de modelos y aprendizaje federado. FEDML Launch, un planificador multicloud, permite además ejecutar cualquier trabajo de IA en cualquier nube de GPU o clúster local. Basado en esta biblioteca, TensorOpera AI (https://TensorOpera.ai) es su plataforma de IA generativa a escala.

FedML-AI
⭐ 4,068 Python 👤 FedML-AI Organization 🕐 Actualizado 2026-11-12 📅 Creado 2020-07-21
12
predibase/lorax

Servidor de inferencia Multi-LoRA que escala a miles de LLM afinados

predibase
⭐ 3,836 Python 👤 predibase Organization 🕐 Actualizado 2026-05-28 📅 Creado 2023-10-20
13
vllm-project/vllm-ascend

Plugin de hardware para vLLM en Huawei Ascend mantenido por la comunidad

vllm-project
⭐ 3,128 Python 👤 vllm-project Organization 🕐 Actualizado 2026-11-21 📅 Creado 2025-01-29
14
openlake-project/openlake

OpenLake es un motor de almacenamiento de alto rendimiento para una inferencia de LLM y un entrenamiento de GPU eficientes

openlake-project
⭐ 3,089 Rust 👤 openlake-project Organization 🕐 Actualizado 2026-11-19 📅 Creado 2026-04-27
15
thu-pacman/chitu

Marco de inferencia de alto rendimiento para modelos de lenguaje grandes, centrado en la eficiencia, la flexibilidad y la disponibilidad.

thu-pacman
⭐ 3,005 Python 👤 thu-pacman Organization 🕐 Actualizado 2026-11-21 📅 Creado 2025-02-20
16
AmberLJC/LLMSys-PaperList

Lista de Artículos sobre Sistemas de Modelos Lingüísticos Grandes (LLMs)

AmberLJC
⭐ 2,332 Python 👤 AmberLJC User 🕐 Actualizado 2026-10-20 📅 Creado 2023-06-06
17
tensorchord/envd

🏕️ Entorno de desarrollo reproducible para humanos y agentes

tensorchord
⭐ 2,249 Go 👤 tensorchord Organization 🕐 Actualizado 2026-11-19 📅 Creado 2022-04-11
18
microsoft/aici

AICI: Prompts como programas (Wasm)

microsoft
⭐ 2,077 Rust 👤 microsoft Organization 🕐 Actualizado 2025-01-22 📅 Creado 2023-09-26
19
tile-ai/TileRT

Runtime basado en mosaicos para inferencia de LLM de ultrabaja latencia

tile-ai
⭐ 1,906 Python 👤 tile-ai Organization 🕐 Actualizado 2026-09-24 📅 Creado 2025-11-12
20
sgl-project/sglang-omni

Entorno de ejecución de alto rendimiento para servir sistemas de superinteligencia interactivos

sgl-project
⭐ 1,882 Python 👤 sgl-project Organization 🕐 Actualizado 2026-11-21 📅 Creado 2026-01-07
21
janhq/awesome-local-ai

Un impresionante repositorio de herramientas de IA locales

janhq
⭐ 1,791 👤 janhq Organization 🕐 Actualizado 2024-11-13 📅 Creado 2023-09-06
22
mlrun/mlrun

MLRun es una plataforma de MLOps de código abierto para construir y gestionar rápidamente aplicaciones de ML continuas a lo largo de su ciclo de vida. MLRun se integra en su entorno de desarrollo y CI/CD y automatiza la entrega de datos de producción, tuberías de ML y aplicaciones en línea.

mlrun
⭐ 1,703 Python 👤 mlrun Organization 🕐 Actualizado 2026-11-20 📅 Creado 2019-09-01
23
ollaya-dev/ollaya

Servidor API compatible con Jev para modelos de decisión abiertos. Ollama para modelos de decisión: descarga y ejecuta localmente 29 familias de modelos (Laya, pplx-decider, Clef, Winnow, coba...) o alójalos tú mismo detrás de /v1/systemone. El SDK TypeSafe funciona sin cambios: configura su URL base y elige un modelo abierto. CLI, aplicación de escritorio, Docker, servidor MCP y benchmark público.

ollaya-dev
⭐ 1,473 Rust 👤 ollaya-dev Organization 🕐 Actualizado 2026-11-21 📅 Creado 2026-09-23
24
kitops-ml/kitops

Una herramienta DevOps de código abierto de la CNCF para empaquetar y versionar modelos de IA/ML, conjuntos de datos, código y configuraciones en un artefacto OCI.

kitops-ml
⭐ 1,451 Go 👤 kitops-ml Organization 🕐 Actualizado 2026-11-20 📅 Creado 2024-02-02
25
alibaba/rtp-llm

RTP-LLM: El motor de inferencia LLM de alto rendimiento de Alibaba para diversas aplicaciones.

alibaba
⭐ 1,402 Python 👤 alibaba Organization 🕐 Actualizado 2026-11-21 📅 Creado 2023-12-27
26
hemingkx/SpeculativeDecodingPapers

📰 Artículos y blogs de lectura obligatoria sobre Decodificación Especulativa ⚡️

hemingkx
⭐ 1,309 👤 hemingkx User 🕐 Actualizado 2026-06-27 📅 Creado 2023-09-20
27
logicalclocks/hopsworks

Hopsworks - Plataforma de IA intensiva en datos con un Feature Store

logicalclocks
⭐ 1,299 Java 👤 logicalclocks Organization 🕐 Actualizado 2025-02-10 📅 Creado 2018-07-26
28
DataExpert-io/ai-engineer-handbook

¡Todos los enlaces, libros y creadores que necesitas seguir para mantenerte actualizado con la IA!

DataExpert-io
⭐ 1,261 👤 DataExpert-io Organization 🕐 Actualizado 2026-11-20 📅 Creado 2026-02-16
29
basetenlabs/truss

La forma más sencilla de servir modelos de IA/ML en producción

basetenlabs
⭐ 1,236 Python 👤 basetenlabs Organization 🕐 Actualizado 2026-11-20 📅 Creado 2022-07-06
30
gpu-mode/awesomeMLSys

Una lista de incorporación de sistemas ML

gpu-mode
⭐ 1,154 👤 gpu-mode Organization 🕐 Actualizado 2026-02-19 📅 Creado 2024-05-06
31
efeslab/Nanoflow

Un framework de servicio de alto rendimiento orientado al rendimiento para LLM

efeslab
⭐ 978 Jupyter Notebook 👤 efeslab Organization 🕐 Actualizado 2026-03-29 📅 Creado 2024-08-19
32
openvinotoolkit/model_server

Un servidor de inferencia escalable para modelos optimizados con OpenVINO™

openvinotoolkit
⭐ 961 C++ 👤 openvinotoolkit Organization 🕐 Actualizado 2026-11-21 📅 Creado 2018-09-26
33
triton-inference-server/tensorrtllm_backend

El backend Triton TensorRT-LLM

triton-inference-server
⭐ 944 👤 triton-inference-server Organization 🕐 Actualizado 2026-11-02 📅 Creado 2023-09-12
34
replicate/replicate-python

Cliente de Python para Replicate

replicate
⭐ 909 Python 👤 replicate Organization 🕐 Actualizado 2025-08-26 📅 Creado 2022-05-11
35
zhihu/ZhiLight

Un motor de aceleración de inferencia LLM altamente optimizado para Llama y sus variantes.

zhihu
⭐ 906 C++ 👤 zhihu Organization 🕐 Actualizado 2026-03-18 📅 Creado 2024-12-06
36
mosecorg/mosec

Un framework de servicio de modelos de ML de alto rendimiento, ofrece procesamiento por lotes dinámico y canalizaciones de CPU/GPU para aprovechar al máximo su máquina de cómputo

mosecorg
⭐ 905 Python 👤 mosecorg Organization 🕐 Actualizado 2026-11-02 📅 Creado 2021-03-13
37
trainindata/deploying-machine-learning-models

Código para el curso en línea "Despliegue de Modelos de Machine Learning"

trainindata
⭐ 879 Jupyter Notebook 👤 trainindata Organization 🕐 Actualizado 2024-08-20 📅 Creado 2019-01-09
38
InternLM/Intern-S1

Un modelo fundacional científico multimodal

InternLM
⭐ 876 👤 InternLM Organization 🕐 Actualizado 2026-09-13 📅 Creado 2025-07-25
39
bentoml/Yatai

Despliegue de modelos a escala en Kubernetes 🦄️

bentoml
⭐ 843 TypeScript 👤 bentoml Organization 🕐 Actualizado 2026-05-30 📅 Creado 2021-07-30
40
Tejas-TA/predikit

El puente que faltaba entre tus modelos de aprendizaje automático y tus agentes de IA.

Tejas-TA
⭐ 840 Python 👤 Tejas-TA User 🕐 Actualizado 2026-10-28 📅 Creado 2026-05-25
41
pegainfer-project/pegainfer

Motor de inferencia LLM puro Rust + CUDA — sin PyTorch, compatible con OpenAI, sirve desde Qwen3 hasta Kimi-K2

pegainfer-project
⭐ 748 Rust 👤 pegainfer-project Organization 🕐 Actualizado 2026-11-21 📅 Creado 2026-02-17
42
abhishekkrthakur
⭐ 728 Python 👤 abhishekkrthakur User 🕐 Actualizado 2024-09-14 📅 Creado 2021-10-26
43
ServerlessLLM/ServerlessLLM

Servicio LLM sin servidor para todos.

ServerlessLLM
⭐ 720 Python 👤 ServerlessLLM Organization 🕐 Actualizado 2026-09-04 📅 Creado 2024-01-23
44
kossisoroyce/timber

Ollama para modelos ML clásicos. Compilador AOT que convierte modelos XGBoost, LightGBM, scikit-learn, CatBoost y ONNX en código de inferencia nativo C99. Un comando para cargar, un comando para servir. 336x más rápido que la inferencia en Python.

kossisoroyce
⭐ 692 Python 👤 kossisoroyce User 🕐 Actualizado 2026-04-16 📅 Creado 2026-02-27
46
mlfoundations/evalchemy

Evaluaciones automáticas para LLM

mlfoundations
⭐ 617 HTML 👤 mlfoundations Organization 🕐 Actualizado 2026-11-12 📅 Creado 2024-11-15
47
eightBEC/fastapi-ml-skeleton

Aplicación esqueleto de FastAPI para servir modelos de aprendizaje automático listos para producción.

eightBEC
⭐ 601 Python 👤 eightBEC User 🕐 Actualizado 2026-01-08 📅 Creado 2020-02-15
48
predibase/llm_distillation_playbook

Mejores prácticas para la destilación de grandes modelos de lenguaje.

predibase
⭐ 596 Jupyter Notebook 👤 predibase Organization 🕐 Actualizado 2024-02-01 📅 Creado 2023-12-06
49
fufankeji/DeepSeek-OCR-Web

Web Studio de análisis de documentos OCR DeepSeek listo para usar

fufankeji
⭐ 568 TypeScript 👤 fufankeji User 🕐 Actualizado 2025-10-27 📅 Creado 2025-10-23

Preguntas frecuentes

1

¿Cuál es el repositorio de #model-serving más popular en GitHub?

El proyecto de código abierto de #model-serving mejor posicionado en GitHub es vllm-project/vllm, con 97,302 estrellas. Un motor de inferencia y servicio para LLM de alto rendimiento y eficiente en memoria

2

¿Qué lenguajes de programación se utilizan más en los repositorios de #model-serving?

Entre los proyectos de #model-serving mejor posicionados en GitHub, los lenguajes de programación más comunes son Python, Go, Rust, Jupyter Notebook.

3

¿Cómo se calcula la clasificación de los repositorios de #model-serving?

Seguimos 51 repositorios activos de código abierto etiquetados con #model-serving (500+ estrellas), que suman un total de 211,758 estrellas, con una media de 4,152 estrellas por repositorio. Las clasificaciones se actualizan diariamente a partir de la API de GitHub.