#vllm Repositorios
Descubre 133 repositorios activos de código abierto de GitHub etiquetados con #vllm, que acumulan 554,542 estrellas en total (una media de 4,169 estrellas por proyecto). El líder de este tema es earendil-works/pi, con 123,140 estrellas.
134 repositorios en total
Kit de herramientas para agentes de IA: API de LLM unificada, bucle de agente, TUI, CLI de agente de codificación
OCR, análisis de diseño, orden de lectura, reconocimiento de tablas en más de 90 idiomas
Kit de herramientas de reconocimiento de voz de código abierto para entrenamiento, inferencia, ASR en streaming, VAD, puntuación, tuberías de diarización de hablantes y servicio compatible con OpenAI/MCP.
¡Bienvenido al Cookbook de Llama! Esta es su guía de referencia para construir con Llama: Primeros pasos con inferencia, fine-tuning, RAG. También le mostramos cómo resolver problemas de extremo a extremo utilizando la familia de modelos Llama y utilizándolos en varios servicios de proveedores.
Solución de Android en Docker compatible con noVNC, grabación de vídeo, servidor MCP y agente de IA
Biblioteca integral de código abierto de habilidades de investigación e ingeniería de IA para cualquier modelo de IA. Empaque las habilidades y su agente claude code/codex/gemini será un agente de investigación de IA con toda su potencia. Mantenido por Orchestra Research.
✍🏻 Inmersiones profundas en código fuente, diseño de sistemas y blogs de ingeniería | Halfrost-Field: Notas de análisis de código fuente, diseño de sistemas y práctica de ingeniería
Modelo de OCR que maneja tablas complejas, formularios y escritura a mano con diseño completo.
Un framework RL agentico fácil de usar, escalable y de alto rendimiento basado en Ray (PPO & DAPO & REINFORCE++ & VLM & TIS & vLLM & Ray & Async RL)
Plataforma de inferencia de código abierto para modelos de lenguaje, visión, embeddings, reranking, imágenes, audio y vídeo. Despliega con varios motores en hardware heterogéneo, desde un portátil hasta un clúster distribuido. Ofrece modelos a través de API compatibles con OpenAI.
Mooncake es la plataforma de servicio para Kimi, un servicio líder de LLM proporcionado por Moonshot AI.
Una capa de decisión abierta y programable para modelos y computación.
Plataforma de inferencia de IA generativa y predictiva distribuida estandarizada para despliegue escalable y multi-framework en Kubernetes
Un gestor de clústeres de GPU para el servicio de modelos de IA de alto rendimiento (vLLM, SGLang) e instancias de GPU bajo demanda accesibles mediante SSH.
Aprende sobre sistemas de inferencia de LLM en Apple Silicon para ingenieros de sistemas: construye un vLLM + Qwen diminuto
Un framework MCP de bajo código para construir pipelines RAG complejos e innovadores
Search-R1: Un marco de entrenamiento RL eficiente y escalable para razonamiento y llamadas al motor de búsqueda basado en LLM entrelazados con veRL
📚Una lista seleccionada de increíbles artículos sobre inferencia LLM/VLM con códigos: Flash-Attention, Paged-Attention, WINT8/4, Paralelismo, etc.🎉
Extracción de datos estructurados, llamada de instrucciones y flujos de trabajo agentivos con ML, LLM y Vision LLM
Compartir conocimientos de AI Infra y práctica de código: PyTorch, vLLM/SGLang, introducción al marco slime/vime ⚡️, aceleración de rendimiento 🚀, fundamentos de modelos grandes 🧠, software y hardware de IA 🔧, etc.
[NeurIPS'24] HippoRAG es un novedoso framework RAG inspirado en la memoria a largo plazo humana que permite a los LLM integrar continuamente conocimiento a través de documentos externos. RAG + Grafos de Conocimiento + Personalized PageRank.
Runtime en cascada para agentes de IA. Optimiza costo, latencia, calidad y decisiones de políticas dentro del bucle del agente.
Toolkit de inferencia y despliegue de alto rendimiento para LLM y VLM basado en PaddlePaddle
Fundamentos de IA: arquitectura de GPU, programación CUDA, conceptos básicos de grandes modelos y conocimientos relacionados con agentes de IA.
Plugin de hardware para vLLM en Huawei Ascend mantenido por la comunidad
RamaLama es una herramienta de desarrollo de código abierto que simplifica la provisión local de modelos de IA desde cualquier fuente y facilita su uso para inferencia en producción, todo a través del familiar lenguaje de los contenedores.
Ejecuta modelos Qwen grandes rápidamente en las GPU que realmente tienes. Qwen3.8-27B en una sola tarjeta de 24 GB con vLLM: 127 tok/s para un solo usuario (381 cuando la respuesta cita el prompt), aproximadamente 1.035 tok/s con 64 solicitudes concurrentes y un contexto de 150k–262k. Parches para vLLM, canalización de requantización y benchmarks.
El sistema de referencia de vLLM para el despliegue nativo de K8S en todo el clúster con optimización de rendimiento impulsada por la comunidad
CodeGeeX4-ALL-9B, un modelo versátil para todos los escenarios de desarrollo de software de IA, que incluye autocompletado de código, intérprete de código, búsqueda web, llamadas a funciones, preguntas y respuestas a nivel de repositorio y mucho más.
Código, laboratorios y recursos para O'Reilly AI Systems Performance Engineering: optimización de GPU, entrenamiento distribuido, escalado de inferencia y ajuste de pila completa.
HunyuanOCR-1.5: Haciendo que los VLM de OCR ligeros sean más rápidos y mejores
Caché KV elástico virtualizado para el uso compartido dinámico de GPU y más allá
Forzar el formato de salida (esquema JSON, Regex, etc.) de un modelo de lenguaje
Preguntas frecuentes
¿Cuál es el repositorio de #vllm más popular en GitHub?
El proyecto de código abierto de #vllm mejor posicionado en GitHub es earendil-works/pi, con 123,140 estrellas. Kit de herramientas para agentes de IA: API de LLM unificada, bucle de agente, TUI, CLI de agente de codificación
¿Qué lenguajes de programación se utilizan más en los repositorios de #vllm?
Entre los proyectos de #vllm mejor posicionados en GitHub, los lenguajes de programación más comunes son Python, Jupyter Notebook, Go, TypeScript.
¿Cómo se calcula la clasificación de los repositorios de #vllm?
Seguimos 133 repositorios activos de código abierto etiquetados con #vllm (500+ estrellas), que suman un total de 554,542 estrellas, con una media de 4,169 estrellas por repositorio. Las clasificaciones se actualizan diariamente a partir de la API de GitHub.