Git Stars Git Stars

#vllm Repositorios

133
Total de Repositorios
554,542
Total de estrellas
4,169
Promedio de Estrellas/Repo

134 repositorios en total

101
ModelTC/LightCompress

[EMNLP 2024 & AAAI 2026] Un potente kit de herramientas para comprimir modelos grandes, incluidos LLM, VLM y modelos generativos de video.

ModelTC
⭐ 755 Python 👤 ModelTC Organization 🕐 Actualizado 2026-05-14 📅 Creado 2024-03-06
102
pegainfer-project/pegainfer

Motor de inferencia LLM puro Rust + CUDA — sin PyTorch, compatible con OpenAI, sirve desde Qwen3 hasta Kimi-K2

pegainfer-project
⭐ 748 Rust 👤 pegainfer-project Organization 🕐 Actualizado 2026-11-21 📅 Creado 2026-02-17
103
smg-project/smg

Gateway de LLM agnóstico del motor, desarrollado en Rust. Compatibilidad total con las API de OpenAI y Anthropic para vLLM, TRT-LLM, TokenSpeed, SGLang, OpenAI, Gemini y más. Canalización gRPC pionera en la industria, enrutamiento consciente de la caché KV, historial de chat, almacenamiento en caché de la tokenización, Responses API, embeddings, plugins WASM, MCP y autenticación multiinquilino.

smg-project
⭐ 736 Rust 👤 smg-project Organization 🕐 Actualizado 2026-11-21 📅 Creado 2025-11-22
104
microsoft/vidur

Simulador preciso, a gran escala y extensible para sistemas de inferencia de LLM

microsoft
⭐ 733 Python 👤 microsoft Organization 🕐 Actualizado 2026-08-24 📅 Creado 2023-11-02
106
SimonZeng7108/efficientsam3

EfficientSAM3 comprime SAM3 en modelos ligeros y compatibles con el borde mediante destilación de conocimiento progresiva para segmentación y seguimiento de conceptos promptables rápidos.

SimonZeng7108
⭐ 713 Jupyter Notebook 👤 SimonZeng7108 User 🕐 Actualizado 2026-08-11 📅 Creado 2025-10-16
⭐ 703 Python 👤 stepfun-ai Organization 🕐 Actualizado 2026-04-29 📅 Creado 2025-11-11
108
ChenxinAn-fdu/POLARIS

Escalado de RL en modelos de razonamiento avanzados

ChenxinAn-fdu
⭐ 697 Python 👤 ChenxinAn-fdu User 🕐 Actualizado 2025-10-20 📅 Creado 2025-06-18
109
IEIT-Yuan/Yuan-2.0

Yuan 2.0 Large Language Model

IEIT-Yuan
⭐ 689 Python 👤 IEIT-Yuan Organization 🕐 Actualizado 2024-07-11 📅 Creado 2023-11-26
110
mlabonne/llm-autoeval

Evalúa automáticamente tus LLM en Google Colab

mlabonne
⭐ 678 Python 👤 mlabonne User 🕐 Actualizado 2024-05-07 📅 Creado 2024-01-01
111
owenliang/qwen-vllm

Tongyi Qianwen VLLM Despliegue de Inferencia DEMO

owenliang
⭐ 637 Python 👤 owenliang User 🕐 Actualizado 2024-03-28 📅 Creado 2024-01-21
112
firstbatchxyz/mem-agent-mcp

mem-agent mcp server

firstbatchxyz
⭐ 628 Python 👤 firstbatchxyz Organization 🕐 Actualizado 2025-11-17 📅 Creado 2025-09-01
113
mlfoundations/evalchemy

Evaluaciones automáticas para LLM

mlfoundations
⭐ 617 HTML 👤 mlfoundations Organization 🕐 Actualizado 2026-11-12 📅 Creado 2024-11-15
114
jaylfc/taOS

Sistema operativo de agentes de IA autohospedado. Tu memoria, chats, agentes y archivos permanecen en el hardware que posees, sin conexión por defecto, en la nube por elección. Incluye memoria de IA sin conexión (taOSmd), chat grupal autohospedado con múltiples marcos, un escritorio web completo + tienda de aplicaciones, y auto-clustering en el hardware de consumo que ya tienes (Orange/Raspberry Pi, Mac mini, PC gaming).

jaylfc
⭐ 609 Python 👤 jaylfc User 🕐 Actualizado 2026-11-20 📅 Creado 2026-04-05
115
HuiResearch/FlashTTS

Proporciona servicios de síntesis de voz y clonación de voz de alta calidad en chino, basados en modelos como SparkTTS, OrpheusTTS, etc.

HuiResearch
⭐ 603 Python 👤 HuiResearch User 🕐 Actualizado 2025-05-18 📅 Creado 2025-03-13
116
MoonshotAI/K2-Vendor-Verifier

Verificar la precisión de todos los proveedores de API Kimi K2

MoonshotAI
⭐ 602 Python 👤 MoonshotAI Organization 🕐 Actualizado 2026-02-14 📅 Creado 2025-09-09
117
llmmanorg/llmman

Ejecuta cualquier agente en cualquier modelo; los modelos se almacenan como imágenes OCI

llmmanorg
⭐ 598 Rust 👤 llmmanorg Organization 🕐 Actualizado 2026-11-21 📅 Creado 2026-03-22
119
kacper-daftcode/vLLM-Moet

Modelos MoE de vanguardia en RTX PRO 6000 / RTX 5090 (sm_120): DeepSeek-V4.1-Flash en 4 RTX PRO 6000, como híbrido GPU+CPU en 4 RTX 5090 y expertos de 2 bits en vLLM v0.24.0

kacper-daftcode
⭐ 580 Sass 👤 kacper-daftcode User 🕐 Actualizado 2026-11-18 📅 Creado 2026-06-15
120
raids-lab/crater

Crater es una plataforma de entrenamiento e inferencia de IA nativa de la nube.

raids-lab
⭐ 578 Go 👤 raids-lab Organization 🕐 Actualizado 2026-11-20 📅 Creado 2025-06-08
⭐ 568 Python 👤 pipecat-ai Organization 🕐 Actualizado 2026-06-03 📅 Creado 2026-01-01
122
fufankeji/DeepSeek-OCR-Web

Web Studio de análisis de documentos OCR DeepSeek listo para usar

fufankeji
⭐ 568 TypeScript 👤 fufankeji User 🕐 Actualizado 2025-10-27 📅 Creado 2025-10-23
123
spark-arena/sparkrun

sparkrun: inicia, gestiona y detén cargas de trabajo de inferencia de LLM en sistemas NVIDIA DGX Spark. Soporte en vivo: https://discord.com/invite/GH5kRgv6ZD

spark-arena
⭐ 567 Python 👤 spark-arena Organization 🕐 Actualizado 2026-11-17 📅 Creado 2026-02-16
124
FlagOpen/RoboBrain

[CVPR 2025] RoboBrain: Un modelo de cerebro unificado para la manipulación robótica de lo abstracto a lo concreto. Repositorio oficial.

FlagOpen
⭐ 564 Python 👤 FlagOpen Organization 🕐 Actualizado 2025-10-13 📅 Creado 2025-03-27
125
llumnix-project/llumnix-ray

Servicio eficiente y fácil de LLM multiinstancia

llumnix-project
⭐ 561 Python 👤 llumnix-project Organization 🕐 Actualizado 2026-03-12 📅 Creado 2024-05-20
126
01-ai/Yi-1.5

Yi-1.5 es una versión mejorada de Yi, que ofrece un rendimiento más sólido en codificación, matemáticas, razonamiento y capacidad de seguimiento de instrucciones.

01-ai
⭐ 557 👤 01-ai Organization 🕐 Actualizado 2024-11-11 📅 Creado 2024-05-10
128
micytao/vllm-playground

Una interfaz web moderna para gestionar e interactuar con servidores vLLM (www.github.com/vllm-project/vllm). Admite modos tanto de GPU como de CPU, con optimizaciones especiales para macOS Apple Silicon y despliegue empresarial en OpenShift/Kubernetes.

micytao
⭐ 548 JavaScript 👤 micytao User 🕐 Actualizado 2026-11-07 📅 Creado 2025-11-01
129
Yzw202011/OmniSpace

Estación de trabajo creativa de IA de pila completa y con prioridad local: cinco módulos —chat con IA, cómics con IA, creación de dramas en formato cómic, espacio de escritura y aprendizaje de conocimientos—; inferencia local con varios motores (vLLM / llama.cpp / Transformers), asignación inteligente de VRAM, aislamiento por compartimentos y autorrecuperación. Solo para fines educativos; se agradecen los comentarios y el intercambio de ideas. (Debido a restricciones del protocolo, por ahora no es posible enviar al repositorio los últimos avances, excepto el sistema de complementos.)

Yzw202011
⭐ 536 Python 👤 Yzw202011 User 🕐 Actualizado 2026-09-20 📅 Creado 2026-08-23
130
ome-projects/ome

Open Model Engine (OME): operador de Kubernetes para la prestación de servicios de LLM, la programación de GPU y la gestión del ciclo de vida de los modelos. Compatible con SGLang, vLLM, TensorRT-LLM y Triton

ome-projects
⭐ 529 Go 👤 ome-projects Organization 🕐 Actualizado 2026-11-21 📅 Creado 2025-05-19
131
huawei-csl/KVarN

KVarN es un backend nativo de vLLM para la cuantización de la caché KV de tus agentes: entre 3 y 5 veces más contexto, un rendimiento superior a FP16 y una precisión de nivel FP16. Sin calibración, un solo indicador.

huawei-csl
⭐ 521 Python 👤 huawei-csl Organization 🕐 Actualizado 2026-06-22 📅 Creado 2026-05-29
132
adventists-ai/sophon-realtime

Modelos de voz abiertos y full-duplex que perciben tu tono y hablan con uno propio. Una sola GPU con vLLM-Omni, o funcionamiento totalmente offline en un Mac con MLX. Clonación de voz zero-shot, compatibles con OpenAI Realtime / GPT-Live, y prueba gratuita de la API alojada. Apache-2.0.

adventists-ai
⭐ 510 Python 👤 adventists-ai Organization 🕐 Actualizado 2026-11-20 📅 Creado 2026-11-04
133
Chen-zexi/vllm-cli

Una herramienta de interfaz de línea de comandos para servir LLM usando vLLM.

Chen-zexi
⭐ 507 Python 👤 Chen-zexi User 🕐 Actualizado 2026-01-25 📅 Creado 2025-08-14
134
AEON-7/Qwen3.6-27B-AEON-Ultimate-Uncensored-DFlash

Ablación totalmente sin censura y con capacidades mejoradas de Qwen3.6-27B. Decodificación especulativa NVFP4 + z-lab DFlash (n=12) en el contenedor unificado ghcr.io/aeon-7/aeon-vllm-ultimate:latest, optimizada para la aceptación de borradores en contextos largos en DGX Spark. 6 variantes de HF (BF16/NVFP4/MTP/MTP-XS), docker-compose y guía de inicio rápido.

AEON-7
⭐ 501 Python 👤 AEON-7 User 🕐 Actualizado 2026-11-13 📅 Creado 2026-04-25