#sglang 仓库
探索 38 个标记为 #sglang 的活跃开源 GitHub 仓库,它们累计获得 109,680 个 Star(平均每个项目 2,886 个)。该主题的领先项目是 xorbitsai/inference,拥有 9,667 个 Star。
共 38 个仓库
面向语言、视觉、嵌入、重排序、图像、音频和视频模型的开源推理平台。支持通过多个推理引擎部署在异构硬件上,覆盖从笔记本电脑到分布式集群的各种环境。通过兼容 OpenAI 的 API 提供模型服务。
SGLang x Datawhale 官方大语言模型推理课程:理解推理原理,从零构建一个迷你版 SGLang,然后阅读真正的 SGLang 源码并提交你的第一个 PR。课程提供英文和中文版本。
LLM 模型量化(压缩)工具包,通过 HF、vLLM 和 SGLang 支持 Nvidia CUDA、AMD ROCm、Intel XPU、Tenstorrent、华为昇腾 NPU,以及 Intel/AMD/Apple CPU 的硬件加速。
基于 Rust 构建的引擎无关型 LLM 网关。全面兼容 OpenAI 和 Anthropic API,支持 vLLM、TRT-LLM、TokenSpeed、SGLang、OpenAI、Gemini 等更多平台。业界首创的 gRPC 流水线、感知 KV 缓存的路由、聊天历史记录、分词缓存、Responses API、嵌入、WASM 插件、MCP 以及多租户身份认证。
sparkrun——在 NVIDIA DGX Spark 系统上启动、管理和停止 LLM 推理工作负载。在线支持:https://discord.com/invite/GH5kRgv6ZD
Open Model Engine (OME) —— 用于大语言模型服务部署、GPU 调度和模型生命周期管理的 Kubernetes Operator。支持 SGLang、vLLM、TensorRT-LLM 和 Triton
常见问题解答
GitHub 上最受欢迎的 #sglang 仓库是什么?
GitHub 上排名第一的开源 #sglang 项目是 xorbitsai/inference,拥有 9,667 个 Star。面向语言、视觉、嵌入、重排序、图像、音频和视频模型的开源推理平台。支持通过多个推理引擎部署在异构硬件上,覆盖从笔记本电脑到分布式集群的各种环境。通过兼容 OpenAI 的 API 提供模型服务。
#sglang 仓库中最常使用的编程语言有哪些?
在 GitHub 上排名靠前的 #sglang 项目中,最常见的编程语言是 Python, HTML, Rust, C++。
#sglang 仓库的排名是如何计算的?
我们跟踪了 38 个标记为 #sglang 且拥有 500+ 个 Star 的活跃开源仓库,共计获得 109,680 个 Star,平均每个仓库拥有 2,886 个 Star。排名每日根据 GitHub API 更新。