#inference-server 仓库
探索 13 个标记为 #inference-server 的活跃开源 GitHub 仓库,它们累计获得 53,014 个 Star(平均每个项目 4,078 个)。该主题的领先项目是 jundot/omlx,拥有 23,831 个 Star。
共 13 个仓库
⚡ 纯 Rust 编写的 WebGPU 推理引擎 — 兼容 OpenAI API,原生支持 GGUF,可在任何 GPU 上运行。无需 Python。无需 llama.cpp。单一二进制文件。
Rapid-MLX 是一个开源(Apache 2.0)的 LLM 推理服务器,适用于 Apple Silicon,兼容 OpenAI 和 Anthropic,基于 MLX 构建,专注于为编程代理提供可靠的工具调用功能。在使用相同模型权重的情况下,速度最高可达 Apple 的 MLX(mlx-lm)的 4 倍。
适用于 Apple Silicon 的高性能 OpenAI 和 Anthropic 兼容 LLM 推理服务器。原生 MLX、连续批处理、多模态模型、MCP 工具调用和 Claude Code 支持。
兼容 Jev 的开放决策模型 API 服务器。面向决策模型的 Ollama:可在本地拉取并运行 29 个模型系列(Laya、pplx-decider、Clef、Winnow、coba……),也可通过 /v1/systemone 自托管。TypeSafe SDK 无需任何改动即可使用:设置基础 URL 并选择一个开放模型。提供 CLI、桌面应用、Docker、MCP 服务器和公开基准测试。
常见问题解答
GitHub 上最受欢迎的 #inference-server 仓库是什么?
GitHub 上排名第一的开源 #inference-server 项目是 jundot/omlx,拥有 23,831 个 Star。支持连续批处理和 SSD 缓存的 Apple Silicon LLM 推理服务器 — 从 macOS 菜单栏管理
#inference-server 仓库中最常使用的编程语言有哪些?
在 GitHub 上排名靠前的 #inference-server 项目中,最常见的编程语言是 Python, Rust, C++。
#inference-server 仓库的排名是如何计算的?
我们跟踪了 13 个标记为 #inference-server 且拥有 500+ 个 Star 的活跃开源仓库,共计获得 53,014 个 Star,平均每个仓库拥有 4,078 个 Star。排名每日根据 GitHub API 更新。