#model-serving Repositorios
Descubre 51 repositorios activos de código abierto de GitHub etiquetados con #model-serving, que acumulan 211,758 estrellas en total (una media de 4,152 estrellas por proyecto). El líder de este tema es vllm-project/vllm, con 97,302 estrellas.
51 repositorios en total
Un motor de inferencia y servicio para LLM de alto rendimiento y eficiente en memoria
La forma más fácil de servir aplicaciones y modelos de IA - ¡Construye APIs de inferencia de modelo, colas de trabajos, apps LLM, pipelines multi-modelo y más!
Un marco para la inferencia de modelo eficiente con modelos de omnimodalidad
Orquestación distribuida y con seguridad de tipos de agentes, canalizaciones de ML e inferencia en tiempo real en tu k8s, en Python puro con async/await y también en otros lenguajes (Rust, Go y TypeScript)
Plataforma de inferencia de IA generativa y predictiva distribuida estandarizada para despliegue escalable y multi-framework en Kubernetes
En este repositorio, compartiré algunas notas y referencias útiles sobre el despliegue de modelos basados en deep learning en producción.
LightLLM es un framework basado en Python para la inferencia y el servicio de LLM (Modelos de Lenguaje Grandes), notable por su diseño ligero, fácil escalabilidad y rendimiento de alta velocidad.
🚀 Sistema Impresionante para Machine Learning ⚡️ Papeles de Sistemas AI y Práctica Industrial. ⚡️ Sistema para Machine Learning, LLM (Large Language Model), GenAI (Generative AI). 🍻 OSDI, NSDI, SIGCOMM, SoCC, MLSys, etc. 🗃️ Llama3, Mistral, etc. 🧑💻 Tutoriales en Video.
FEDML: la biblioteca de ML unificada y escalable para entrenamiento distribuido a gran escala, servicio de modelos y aprendizaje federado. FEDML Launch, un planificador multicloud, permite además ejecutar cualquier trabajo de IA en cualquier nube de GPU o clúster local. Basado en esta biblioteca, TensorOpera AI (https://TensorOpera.ai) es su plataforma de IA generativa a escala.
Plugin de hardware para vLLM en Huawei Ascend mantenido por la comunidad
OpenLake es un motor de almacenamiento de alto rendimiento para una inferencia de LLM y un entrenamiento de GPU eficientes
Marco de inferencia de alto rendimiento para modelos de lenguaje grandes, centrado en la eficiencia, la flexibilidad y la disponibilidad.
Lista de Artículos sobre Sistemas de Modelos Lingüísticos Grandes (LLMs)
Entorno de ejecución de alto rendimiento para servir sistemas de superinteligencia interactivos
MLRun es una plataforma de MLOps de código abierto para construir y gestionar rápidamente aplicaciones de ML continuas a lo largo de su ciclo de vida. MLRun se integra en su entorno de desarrollo y CI/CD y automatiza la entrega de datos de producción, tuberías de ML y aplicaciones en línea.
Servidor API compatible con Jev para modelos de decisión abiertos. Ollama para modelos de decisión: descarga y ejecuta localmente 29 familias de modelos (Laya, pplx-decider, Clef, Winnow, coba...) o alójalos tú mismo detrás de /v1/systemone. El SDK TypeSafe funciona sin cambios: configura su URL base y elige un modelo abierto. CLI, aplicación de escritorio, Docker, servidor MCP y benchmark público.
Una herramienta DevOps de código abierto de la CNCF para empaquetar y versionar modelos de IA/ML, conjuntos de datos, código y configuraciones en un artefacto OCI.
RTP-LLM: El motor de inferencia LLM de alto rendimiento de Alibaba para diversas aplicaciones.
📰 Artículos y blogs de lectura obligatoria sobre Decodificación Especulativa ⚡️
¡Todos los enlaces, libros y creadores que necesitas seguir para mantenerte actualizado con la IA!
Un servidor de inferencia escalable para modelos optimizados con OpenVINO™
Un motor de aceleración de inferencia LLM altamente optimizado para Llama y sus variantes.
Un framework de servicio de modelos de ML de alto rendimiento, ofrece procesamiento por lotes dinámico y canalizaciones de CPU/GPU para aprovechar al máximo su máquina de cómputo
Código para el curso en línea "Despliegue de Modelos de Machine Learning"
El puente que faltaba entre tus modelos de aprendizaje automático y tus agentes de IA.
Motor de inferencia LLM puro Rust + CUDA — sin PyTorch, compatible con OpenAI, sirve desde Qwen3 hasta Kimi-K2
Ollama para modelos ML clásicos. Compilador AOT que convierte modelos XGBoost, LightGBM, scikit-learn, CatBoost y ONNX en código de inferencia nativo C99. Un comando para cargar, un comando para servir. 336x más rápido que la inferencia en Python.
Aplicación esqueleto de FastAPI para servir modelos de aprendizaje automático listos para producción.
Mejores prácticas para la destilación de grandes modelos de lenguaje.
Preguntas frecuentes
¿Cuál es el repositorio de #model-serving más popular en GitHub?
El proyecto de código abierto de #model-serving mejor posicionado en GitHub es vllm-project/vllm, con 97,302 estrellas. Un motor de inferencia y servicio para LLM de alto rendimiento y eficiente en memoria
¿Qué lenguajes de programación se utilizan más en los repositorios de #model-serving?
Entre los proyectos de #model-serving mejor posicionados en GitHub, los lenguajes de programación más comunes son Python, Go, Rust, Jupyter Notebook.
¿Cómo se calcula la clasificación de los repositorios de #model-serving?
Seguimos 51 repositorios activos de código abierto etiquetados con #model-serving (500+ estrellas), que suman un total de 211,758 estrellas, con una media de 4,152 estrellas por repositorio. Las clasificaciones se actualizan diariamente a partir de la API de GitHub.