Git Stars Git Stars

#inference-server 仓库

探索 13 个标记为 #inference-server 的活跃开源 GitHub 仓库,它们累计获得 53,014 个 Star(平均每个项目 4,078 个)。该主题的领先项目是 jundot/omlx,拥有 23,831 个 Star。

13
仓库总数
53,014
总星标数
4,078
平均每个仓库星标数
1
jundot/omlx

支持连续批处理和 SSD 缓存的 Apple Silicon LLM 推理服务器 — 从 macOS 菜单栏管理

jundot
⭐ 23,831 Python 👤 jundot User 🕐 已更新 2026-11-22 📅 创建时间 2026-02-13
2
Michael-A-Kuykendall/shimmy

⚡ 纯 Rust 编写的 WebGPU 推理引擎 — 兼容 OpenAI API,原生支持 GGUF,可在任何 GPU 上运行。无需 Python。无需 llama.cpp。单一二进制文件。

Michael-A-Kuykendall
⭐ 6,022 Rust 👤 Michael-A-Kuykendall User 🕐 已更新 2026-11-12 📅 创建时间 2025-08-28
3
raullenchai/Rapid-MLX

Rapid-MLX 是一个开源(Apache 2.0)的 LLM 推理服务器,适用于 Apple Silicon,兼容 OpenAI 和 Anthropic,基于 MLX 构建,专注于为编程代理提供可靠的工具调用功能。在使用相同模型权重的情况下,速度最高可达 Apple 的 MLX(mlx-lm)的 4 倍。

raullenchai
⭐ 4,172 Python 👤 raullenchai User 🕐 已更新 2026-11-22 📅 创建时间 2026-02-25
4
superlinked/sie

为您的智能体所需的所有模型提供开源推理服务器和生产集群。

superlinked
⭐ 3,534 Python 👤 superlinked Organization 🕐 已更新 2026-11-20 📅 创建时间 2023-11-07
5
containers/ramalama

RamaLama 是一款开源开发工具,可通过熟悉的容器语言,简化来自任何来源的 AI 模型在本地的部署,并促进其在生产环境中的推理使用。

containers
⭐ 3,118 Python 👤 containers Organization 🕐 已更新 2026-11-14 📅 创建时间 2024-07-24
6
roboflow/inference

将任何计算机或边缘设备转变为计算机视觉项目的指挥中心。

roboflow
⭐ 2,499 Python 👤 roboflow Organization 🕐 已更新 2026-11-21 📅 创建时间 2023-07-31
7
gpt-omni/mini-omni2

迈向支持视觉、语音和双向能力的开源 GPT-4o。

gpt-omni
⭐ 1,896 Python 👤 gpt-omni Organization 🕐 已更新 2025-01-16 📅 创建时间 2024-10-14
8
LlamaEdge/LlamaEdge

在本地或边缘运行定制和微调LLM的最简单快捷的方法

LlamaEdge
⭐ 1,665 Rust 👤 LlamaEdge Organization 🕐 已更新 2026-02-08 📅 创建时间 2023-10-09
9
waybarrios/vllm-mlx

适用于 Apple Silicon 的高性能 OpenAI 和 Anthropic 兼容 LLM 推理服务器。原生 MLX、连续批处理、多模态模型、MCP 工具调用和 Claude Code 支持。

waybarrios
⭐ 1,657 Python 👤 waybarrios User 🕐 已更新 2026-11-07 📅 创建时间 2025-12-06
10
ollaya-dev/ollaya

兼容 Jev 的开放决策模型 API 服务器。面向决策模型的 Ollama:可在本地拉取并运行 29 个模型系列(Laya、pplx-decider、Clef、Winnow、coba……),也可通过 /v1/systemone 自托管。TypeSafe SDK 无需任何改动即可使用:设置基础 URL 并选择一个开放模型。提供 CLI、桌面应用、Docker、MCP 服务器和公开基准测试。

ollaya-dev
⭐ 1,474 Rust 👤 ollaya-dev Organization 🕐 已更新 2026-11-21 📅 创建时间 2026-09-23
11
basetenlabs/truss

在生产环境中部署 AI/ML 模型的最简单方法

basetenlabs
⭐ 1,236 Python 👤 basetenlabs Organization 🕐 已更新 2026-11-20 📅 创建时间 2022-07-06
12
aiptimizer/TurboOCR

TurboOCR,>200 img/s OmnidocBench。TensorRT FP16,PP-OCRv6,HTTP + gRPC

aiptimizer
⭐ 1,162 C++ 👤 aiptimizer Organization 🕐 已更新 2026-09-27 📅 创建时间 2026-03-20
13
pipeless-ai/pipeless

一个开源计算机视觉框架,可在几分钟内构建和部署应用程序

pipeless-ai
⭐ 794 Rust 👤 pipeless-ai Organization 🕐 已更新 2024-05-08 📅 创建时间 2023-07-21

常见问题解答

1

GitHub 上最受欢迎的 #inference-server 仓库是什么?

GitHub 上排名第一的开源 #inference-server 项目是 jundot/omlx,拥有 23,831 个 Star。支持连续批处理和 SSD 缓存的 Apple Silicon LLM 推理服务器 — 从 macOS 菜单栏管理

2

#inference-server 仓库中最常使用的编程语言有哪些?

在 GitHub 上排名靠前的 #inference-server 项目中,最常见的编程语言是 Python, Rust, C++。

3

#inference-server 仓库的排名是如何计算的?

我们跟踪了 13 个标记为 #inference-server 且拥有 500+ 个 Star 的活跃开源仓库,共计获得 53,014 个 Star,平均每个仓库拥有 4,078 个 Star。排名每日根据 GitHub API 更新。