#llm-serving Repositorios
Descubre 44 repositorios activos de código abierto de GitHub etiquetados con #llm-serving, que acumulan 381,346 estrellas en total (una media de 8,666 estrellas por proyecto). El líder de este tema es vllm-project/vllm, con 97,302 estrellas.
44 repositorios en total
Un motor de inferencia y servicio para LLM de alto rendimiento y eficiente en memoria
Ray es un motor de cómputo de IA. Ray consiste en un runtime distribuido central y un conjunto de bibliotecas de IA para acelerar cargas de trabajo de ML.
Una plataforma abierta para entrenar, servir y evaluar grandes modelos de lenguaje. Repositorio de lanzamiento para Vicuna y Chatbot Arena.
Este proyecto tiene como objetivo compartir los principios técnicos y la experiencia práctica relacionados con modelos grandes (ingeniería de modelos grandes, implementación práctica de modelos grandes).
TensorRT LLM proporciona a los usuarios una API de Python fácil de usar para definir Modelos de Lenguaje Grandes (LLM) y admite optimizaciones de vanguardia para realizar inferencias de manera eficiente en GPUs NVIDIA. TensorRT LLM también contiene componentes para crear tiempos de ejecución de Python y C++ que orquestan la ejecución de la inferencia de manera performante.
Ejecute cualquier LLM de código abierto, como DeepSeek y Llama, como un endpoint API compatible con OpenAI en la nube.
La plataforma de cómputo de IA para equipos de vanguardia. SkyPilot convierte el cómputo de IA fragmentado en una supercomputadora de IA, para que los equipos de vanguardia construyan inteligencia personalizada más rápido.
La forma más fácil de servir aplicaciones y modelos de IA - ¡Construye APIs de inferencia de modelo, colas de trabajos, apps LLM, pipelines multi-modelo y más!
《Comprender en profundidad la infraestructura de IA: análisis cuantitativo y diseño de sistemas》 (por Li Bojie), un manuscrito de libro de código abierto: partiendo de las restricciones del hardware y de las arquitecturas de los modelos, deriva cuantitativamente el diseño de sistemas de inferencia y entrenamiento de LLM. Incluye el texto completo, el PDF, herramientas de cálculo complementarias y experimentos.
Un gestor de clústeres de GPU para el servicio de modelos de IA de alto rendimiento (vLLM, SGLang) e instancias de GPU bajo demanda accesibles mediante SSH.
Una implementación compacta de SGLang, diseñada para desmitificar las complejidades de los modernos sistemas de servicio de LLM.
Superduper: Framework de extremo a extremo para la creación de aplicaciones y agentes de IA personalizados.
Una lista curada de recursos de Modelos de Lenguaje Grandes, que cubren el entrenamiento, servicio, ajuste fino y la creación de aplicaciones LLM.
Toolkit de inferencia y despliegue de alto rendimiento para LLM y VLM basado en PaddlePaddle
Plugin de hardware para vLLM en Huawei Ascend mantenido por la comunidad
Marco de inferencia de alto rendimiento para modelos de lenguaje grandes, centrado en la eficiencia, la flexibilidad y la disponibilidad.
Caché KV elástico virtualizado para el uso compartido dinámico de GPU y más allá
Excelentes artículos de investigación y herramientas de compresión de LLMs.
El motor de inferencia de LLM de código abierto para AWS Trainium: megakernels NKI, contexto de 1 millón de tokens y API compatible con OpenAI. De RunAnywhere.
Parallax es un framework de servicio de modelos distribuido que te permite construir tu propio clúster de IA en cualquier lugar
Inferencia local con un comportamiento similar al de una API de vanguardia: Qwen3.8-Flash-Next en AMD Strix Halo, junto con pequeños modelos NPU, a través de las API de OpenAI y Anthropic en un mismo puerto.
RTP-LLM: El motor de inferencia LLM de alto rendimiento de Alibaba para diversas aplicaciones.
[NeurIPS'24 Spotlight, ICLR'25, ICML'25] Para acelerar la inferencia de LLM de contexto largo, el cálculo disperso aproximado y dinámico de la atención reduce la latencia de inferencia hasta 10 veces para el prellenado en un A100, manteniendo la precisión.
Un motor de aceleración de inferencia LLM altamente optimizado para Llama y sus variantes.
Un framework de servicio de modelos de ML de alto rendimiento, ofrece procesamiento por lotes dinámico y canalizaciones de CPU/GPU para aprovechar al máximo su máquina de cómputo
Este repositorio contiene tutoriales y ejemplos para Triton Inference Server
[MLSys'25] QServe: Cuantificación W4A8KV4 y codesign de sistemas para un servicio de LLM eficiente; [MLSys'25] LServe: Servicio eficiente de LLM para secuencias largas con atención dispersa unificada
♾️ Flota de Agentes Privados con Codificación Específica. Cada agente obtiene su propio escritorio acelerado por GPU. Ejecuta Claude, Codex, Gemini y modelos abiertos en una Pila de IA Privada Completa ♾️
Modelos abiertos de nivel frontera en una TPU v5e-8 gratuita de Kaggle: GLM-5.3-Flash 320B MoE (~165 tokens/s, con nuestro propio motor JAX) y Qwen3.8-27B bf16 (~130 tokens/s), contexto de 262k y caché de prefijos. Funciona con Claude Code, Codex, opencode y pi.
Caja de herramientas de compresión de modelos para modelos de lenguaje grandes y modelos de difusión
Motor de inferencia LLM puro Rust + CUDA — sin PyTorch, compatible con OpenAI, sirve desde Qwen3 hasta Kimi-K2
Preguntas frecuentes
¿Cuál es el repositorio de #llm-serving más popular en GitHub?
El proyecto de código abierto de #llm-serving mejor posicionado en GitHub es vllm-project/vllm, con 97,302 estrellas. Un motor de inferencia y servicio para LLM de alto rendimiento y eficiente en memoria
¿Qué lenguajes de programación se utilizan más en los repositorios de #llm-serving?
Entre los proyectos de #llm-serving mejor posicionados en GitHub, los lenguajes de programación más comunes son Python, Jupyter Notebook, Rust, C++.
¿Cómo se calcula la clasificación de los repositorios de #llm-serving?
Seguimos 44 repositorios activos de código abierto etiquetados con #llm-serving (500+ estrellas), que suman un total de 381,346 estrellas, con una media de 8,666 estrellas por repositorio. Las clasificaciones se actualizan diariamente a partir de la API de GitHub.