#vllm 仓库
共 134 个仓库
参数规模从 0.8B 到 27B 的开放式决策模型:一次推理即可为每个选项给出经过校准的概率,仅在不确定时提供简短思考。适用于 vLLM、llama.cpp 和 MLX 的引擎。
适用于 Apple Silicon 的高性能 OpenAI 和 Anthropic 兼容 LLM 推理服务器。原生 MLX、连续批处理、多模态模型、MCP 工具调用和 Claude Code 支持。
开源 AI 计算机搭建方案,涵盖双 GPU 台式机到 8 GPU 服务器:提供 CAD 图纸、物料清单、BIOS 设置和装机指南。选购附带 PCIe 延长线的机箱套件,或联系我们免费检查兼容性。
LLM 模型量化(压缩)工具包,通过 HF、vLLM 和 SGLang 支持 Nvidia CUDA、AMD ROCm、Intel XPU、Tenstorrent、华为昇腾 NPU,以及 Intel/AMD/Apple CPU 的硬件加速。
Kubernetes 的 AI 推理运算符。在生产环境中部署 ML 模型的简便方法。支持 VLM、LLM、embedding 和 speech-to-text。
☁️ 企业级 API 网关,帮助您监控和强制执行每个 API 密钥的成本或速率限制。为每个用户、应用程序或环境提供细粒度的访问控制和监控。支持 OpenAI、Azure OpenAI、Anthropic、vLLM 和开源 LLM。
开放式多模态决策模型,参数规模从 0.8B 到 27B,支持文本、图像和视频。对自选候选项进行概率判断,并用边界框定位,而非生成文本。提供免费 API、ONNX、GGUF、vLLM 和 SGLang;附带微调代码。
用于在 Debian 上设置您自己的本地且完全私有的 LLM 服务器的端到端文档。配备聊天、网络搜索、RAG、模型管理、MCP 服务器、图像生成和 TTS。
这是一款由 AI 驱动的数据分析工作台,专为透明性、可复现性和用户控制而打造。检查结果背后的代码和证据,通过回放验证计算过程,并从丰富的模型中进行选择,包括本地开放权重模型。
在免费的 Kaggle TPU v5e-8 上运行前沿级开源模型:GLM-5.3-Flash 320B MoE(约 165 token/秒,采用我们自研的 JAX 引擎)和 Qwen3.8-27B bf16(约 130 token/秒),支持 262K 上下文和前缀缓存。可与 Claude Code、Codex、opencode 和 pi 配合使用。