#vllm Repositorios
134 repositorios en total
[EMNLP 2024 & AAAI 2026] Un potente kit de herramientas para comprimir modelos grandes, incluidos LLM, VLM y modelos generativos de video.
Motor de inferencia LLM puro Rust + CUDA — sin PyTorch, compatible con OpenAI, sirve desde Qwen3 hasta Kimi-K2
Gateway de LLM agnóstico del motor, desarrollado en Rust. Compatibilidad total con las API de OpenAI y Anthropic para vLLM, TRT-LLM, TokenSpeed, SGLang, OpenAI, Gemini y más. Canalización gRPC pionera en la industria, enrutamiento consciente de la caché KV, historial de chat, almacenamiento en caché de la tokenización, Responses API, embeddings, plugins WASM, MCP y autenticación multiinquilino.
Simulador preciso, a gran escala y extensible para sistemas de inferencia de LLM
EfficientSAM3 comprime SAM3 en modelos ligeros y compatibles con el borde mediante destilación de conocimiento progresiva para segmentación y seguimiento de conceptos promptables rápidos.
Sistema operativo de agentes de IA autohospedado. Tu memoria, chats, agentes y archivos permanecen en el hardware que posees, sin conexión por defecto, en la nube por elección. Incluye memoria de IA sin conexión (taOSmd), chat grupal autohospedado con múltiples marcos, un escritorio web completo + tienda de aplicaciones, y auto-clustering en el hardware de consumo que ya tienes (Orange/Raspberry Pi, Mac mini, PC gaming).
Proporciona servicios de síntesis de voz y clonación de voz de alta calidad en chino, basados en modelos como SparkTTS, OrpheusTTS, etc.
Ejecuta cualquier agente en cualquier modelo; los modelos se almacenan como imágenes OCI
Modelos MoE de vanguardia en RTX PRO 6000 / RTX 5090 (sm_120): DeepSeek-V4.1-Flash en 4 RTX PRO 6000, como híbrido GPU+CPU en 4 RTX 5090 y expertos de 2 bits en vLLM v0.24.0
Crater es una plataforma de entrenamiento e inferencia de IA nativa de la nube.
sparkrun: inicia, gestiona y detén cargas de trabajo de inferencia de LLM en sistemas NVIDIA DGX Spark. Soporte en vivo: https://discord.com/invite/GH5kRgv6ZD
[CVPR 2025] RoboBrain: Un modelo de cerebro unificado para la manipulación robótica de lo abstracto a lo concreto. Repositorio oficial.
Yi-1.5 es una versión mejorada de Yi, que ofrece un rendimiento más sólido en codificación, matemáticas, razonamiento y capacidad de seguimiento de instrucciones.
Una interfaz web moderna para gestionar e interactuar con servidores vLLM (www.github.com/vllm-project/vllm). Admite modos tanto de GPU como de CPU, con optimizaciones especiales para macOS Apple Silicon y despliegue empresarial en OpenShift/Kubernetes.
Estación de trabajo creativa de IA de pila completa y con prioridad local: cinco módulos —chat con IA, cómics con IA, creación de dramas en formato cómic, espacio de escritura y aprendizaje de conocimientos—; inferencia local con varios motores (vLLM / llama.cpp / Transformers), asignación inteligente de VRAM, aislamiento por compartimentos y autorrecuperación. Solo para fines educativos; se agradecen los comentarios y el intercambio de ideas. (Debido a restricciones del protocolo, por ahora no es posible enviar al repositorio los últimos avances, excepto el sistema de complementos.)
Open Model Engine (OME): operador de Kubernetes para la prestación de servicios de LLM, la programación de GPU y la gestión del ciclo de vida de los modelos. Compatible con SGLang, vLLM, TensorRT-LLM y Triton
KVarN es un backend nativo de vLLM para la cuantización de la caché KV de tus agentes: entre 3 y 5 veces más contexto, un rendimiento superior a FP16 y una precisión de nivel FP16. Sin calibración, un solo indicador.
Modelos de voz abiertos y full-duplex que perciben tu tono y hablan con uno propio. Una sola GPU con vLLM-Omni, o funcionamiento totalmente offline en un Mac con MLX. Clonación de voz zero-shot, compatibles con OpenAI Realtime / GPT-Live, y prueba gratuita de la API alojada. Apache-2.0.
Una herramienta de interfaz de línea de comandos para servir LLM usando vLLM.
Ablación totalmente sin censura y con capacidades mejoradas de Qwen3.6-27B. Decodificación especulativa NVFP4 + z-lab DFlash (n=12) en el contenedor unificado ghcr.io/aeon-7/aeon-vllm-ultimate:latest, optimizada para la aceptación de borradores en contextos largos en DGX Spark. 6 variantes de HF (BF16/NVFP4/MTP/MTP-XS), docker-compose y guía de inicio rápido.