#vllm 仓库
共 134 个仓库
[EMNLP 2024 & AAAI 2026] 一个强大的工具包,用于压缩包括大型语言模型(LLMs)、大型视觉语言模型(VLMs)和视频生成模型在内的大型模型。
纯 Rust + CUDA 的 LLM 推理引擎——无需 PyTorch,兼容 OpenAI,支持从 Qwen3 到 Kimi-K2 的模型
基于 Rust 构建的引擎无关型 LLM 网关。全面兼容 OpenAI 和 Anthropic API,支持 vLLM、TRT-LLM、TokenSpeed、SGLang、OpenAI、Gemini 等更多平台。业界首创的 gRPC 流水线、感知 KV 缓存的路由、聊天历史记录、分词缓存、Responses API、嵌入、WASM 插件、MCP 以及多租户身份认证。
自托管 AI 智能体操作系统。您的记忆、聊天记录、智能体和文件都存储在您拥有的硬件上,默认离线,云端可选。具备离线 AI 记忆 (taOSmd)、自托管多框架群聊、完整的 Web 桌面 + 应用商店,以及跨您现有消费级硬件(Orange/Raspberry Pi、Mac mini、游戏 PC)的自动集群功能。
RTX PRO 6000 / RTX 5090 (sm_120) 上的前沿 MoE 模型:在 4 张 RTX PRO 6000 上运行 DeepSeek-V4.1-Flash、在 4 张 RTX 5090 上采用 GPU+CPU 混合方案,以及在 vLLM v0.24.0 上运行 2 位专家模型
sparkrun——在 NVIDIA DGX Spark 系统上启动、管理和停止 LLM 推理工作负载。在线支持:https://discord.com/invite/GH5kRgv6ZD
一个用于管理和交互 vLLM 服务器 (www.github.com/vllm-project/vllm) 的现代 Web 界面。支持 GPU 和 CPU 模式,并针对 macOS Apple Silicon 以及 OpenShift/Kubernetes 企业级部署进行了特别优化。
本地优先的全栈 AI 创作工作站:AI 对话、AI 漫画、漫剧创作、写作台、知识学习五大模块;支持 vLLM / llama.cpp / Transformers 多引擎本地推理、显存智能调度、舱壁隔离与自愈。仅供学习使用,欢迎交流指正。(除插件系统外,最新进度受协议限制,暂时无法提交到仓库。)
Open Model Engine (OME) —— 用于大语言模型服务部署、GPU 调度和模型生命周期管理的 Kubernetes Operator。支持 SGLang、vLLM、TensorRT-LLM 和 Triton
KVarN 是专为您的智能体打造的原生 vLLM KV 缓存量化后端:上下文容量提升 3–5 倍,吞吐量超越 FP16,精度达到 FP16 级别。无需校准,只需一个参数。
开放式全双工语音模型,能够听懂你的语气并以相应语气回应。借助 vLLM-Omni,仅需一块 GPU;或使用 MLX 在 Mac 上完全离线运行。零样本声音克隆,兼容 OpenAI Realtime / GPT-Live,并提供免费的托管 API 试用。Apache-2.0。
完全不受审查、增强能力的 Qwen3.6-27B 消融版。基于统一的 ghcr.io/aeon-7/aeon-vllm-ultimate:latest 容器,采用 NVFP4 + z-lab DFlash 推测解码(n=12),针对 DGX Spark 上的长上下文草稿接受率进行了调优。提供 6 个 HF 变体(BF16/NVFP4/MTP/MTP-XS)、docker-compose 和快速入门指南。