#vllm Repositorios
134 repositorios en total
Evalúe y mejore sus implementaciones de LLM para necesidades de inferencia en el mundo real
Modelos de decisión abiertos de 0,8B a 27B: una probabilidad calibrada para cada opción en una sola pasada y un razonamiento breve solo cuando haya incertidumbre. Motor para vLLM, llama.cpp y MLX.
Eficiencia de la cuantización posterior al entrenamiento, precisión de la cuantización con entrenamiento consciente
Servidor de inferencia de LLM de alto rendimiento compatible con OpenAI y Anthropic para Apple Silicon. MLX nativo, procesamiento por lotes continuo, modelos multimodales, llamadas a herramientas MCP y soporte para Claude Code.
Convierte cualquier LLM en un modelo de decisión al estilo Jev: decisiones tipadas, probabilidades reales y sin entrenamiento. (Seguimos actualizando; agradecemos cualquier reporte de problemas y solicitud de PR)
Configuraciones de ordenadores de IA de código abierto, desde equipos de sobremesa con 2 GPU hasta servidores con 8 GPU: CAD, lista de materiales, BIOS y guías de montaje. Consigue el kit de caja con risers PCIe o pídenos una comprobación gratuita de compatibilidad.
Repositorio oficial del artículo "Scaling Synthetic Data Creation with 1,000,000,000 Personas"
Grandes Modelos de Spiking inspirados en el Cerebro, que integran atención híbrida eficiente, módulos MoE y codificación de espigas en su arquitectura
Kit de herramientas para la cuantización (compresión) de modelos LLM, con aceleración por hardware para Nvidia CUDA, AMD ROCm, Intel XPU, Tenstorrent, NPU Huawei Ascend y CPU Intel/AMD/Apple mediante HF, vLLM y SGLang.
Operador de inferencia de IA para Kubernetes. La forma más sencilla de servir modelos de ML en producción. Soporta VLMs, LLMs, embeddings y voz a texto.
Una hoja de ruta de 10 semanas, dedicando 30 minutos al día, para el servicio y la optimización de inferencia de LLM. vLLM, SGLang, cuantización, decodificación especulativa y evaluación comparativa.
☁️ Pasarela API de nivel empresarial que te ayuda a monitorizar e imponer límites de costes o de tarifas por clave API. Obtén control de acceso granular y monitorización por usuario, aplicación o entorno. Soporta OpenAI, Azure OpenAI, Anthropic, vLLM y LLM de código abierto.
Construye tu propio motor de inferencia LLM de alto rendimiento en C++ y CUDA - una versión más pequeña de vLLM
Kimi-VL: Modelo Visión-Lenguaje de Mezcla de Expertos para Razonamiento Multimodal, Comprensión de Largo Contexto y Fuertes Capacidades de Agente
Un marco MemAgent que se puede extrapolar a 3,5 millones, junto con un marco de entrenamiento para el entrenamiento de RL de cualquier flujo de trabajo de agente.
Repositorio de código abierto del modelo de investigación profunda de Pokee
UniRL es un marco de trabajo para el aprendizaje por refuerzo de modelos multimodales unificados
Un Modelo Generalista Transparente hacia la Comprensión Holística Visión-Lenguaje Médica
Una CLI para estimar los requisitos de memoria de inferencia para modelos de Hugging Face, escrita en Python.
Modelos abiertos de decisión multimodal, de 0,8B a 27B, para texto, imágenes y vídeo. Decide asignando probabilidades a tus propios candidatos y localiza con cuadros delimitadores, en lugar de generar texto. API gratuita, ONNX, GGUF, vLLM y SGLang; incluye código de ajuste fino.
Serie de modelos abiertos Spark-x2.6. Ampliando los límites de las capacidades agénticas en los modelos en dispositivo
Notas de LLM, incluida la inferencia del modelo, la estructura del modelo Transformer y notas de análisis de código del framework LLM.
Un software OCR local, sin conexión (después de la configuración inicial), portátil, que puede procesar imágenes y archivos PDF, utilizando DeepSeek-OCR-2 AI (ejecutándose directamente en su máquina).
Este repositorio contiene tutoriales y ejemplos para Triton Inference Server
Halo es un marco de código abierto desarrollado por White Circle para entrenar modelos de lenguaje de gran tamaño y modelos multimodales
Documentación de extremo a extremo para configurar su propio servidor LLM local y totalmente privado en Debian. Equipado con chat, búsqueda web, RAG, gestión de modelos, servidores MCP, generación de imágenes y TTS.
Banco de trabajo de análisis de datos impulsado por IA, diseñado para ofrecer transparencia, reproducibilidad y control al usuario. Inspecciona el código y las pruebas que respaldan los resultados, verifica los cálculos mediante su reproducción y elige entre una amplia variedad de modelos, incluidos modelos locales de pesos abiertos.
Extender OpenRLHF para admitir el entrenamiento LMM RL para la reproducción de DeepSeek-R1 en tareas multimodales.
Una infraestructura de extremo a extremo para entrenar y evaluar diversos agentes LLM.
Tencent Hunyuan A13B (en adelante Hunyuan-A13B), un LLM innovador y de código abierto construido sobre una arquitectura MoE de grano fino.
Modelos abiertos de nivel frontera en una TPU v5e-8 gratuita de Kaggle: GLM-5.3-Flash 320B MoE (~165 tokens/s, con nuestro propio motor JAX) y Qwen3.8-27B bf16 (~130 tokens/s), contexto de 262k y caché de prefijos. Funciona con Claude Code, Codex, opencode y pi.
Seed-Coder es una familia de LLM de código abierto ligeros que comprende modelos base, instruct y de razonamiento, desarrollados por ByteDance Seed.