Git Stars Git Stars

#serving 仓库

探索 17 个标记为 #serving 的活跃开源 GitHub 仓库,它们累计获得 90,023 个 Star(平均每个项目 5,295 个)。该主题的领先项目是 ray-project/ray,拥有 44,352 个 Star。

17
仓库总数
90,023
总星标数
5,295
平均每个仓库星标数
1
ray-project/ray

Ray 是一个 AI 计算引擎。Ray 由核心分布式运行时和一套用于加速 ML 工作负载的 AI 库组成。

ray-project
⭐ 44,352 Python 👤 ray-project Organization 🕐 已更新 2026-11-21 📅 创建时间 2016-10-25
2
tensorflow/serving

一个灵活、高性能的机器学习模型服务系统

tensorflow
⭐ 6,364 C++ 👤 tensorflow Organization 🕐 已更新 2026-11-19 📅 创建时间 2016-01-26
3
volcano-sh/volcano

云原生批处理系统 (CNCF 下的项目)

volcano-sh
⭐ 6,106 Go 👤 volcano-sh Organization 🕐 已更新 2026-11-19 📅 创建时间 2019-03-14
4
skyzh/tiny-llm

面向系统工程师学习 Apple Silicon 上的大语言模型推理系统:构建一个迷你版 vLLM + Qwen

skyzh
⭐ 5,801 Python 👤 skyzh User 🕐 已更新 2026-11-16 📅 创建时间 2025-04-19
5
SeldonIO/seldon-core

一个用于打包、部署、监控和管理数千个生产机器学习模型的 MLOps 框架

SeldonIO
⭐ 4,781 Go 👤 SeldonIO Organization 🕐 已更新 2026-03-23 📅 创建时间 2017-12-20
6
ahkarami/Deep-Learning-in-Production

在这个仓库中,我将分享一些关于在生产环境中部署基于深度学习模型的有用笔记和参考资料。

ahkarami
⭐ 4,380 👤 ahkarami User 🕐 已更新 2024-11-09 📅 创建时间 2018-05-03
7
Lightning-AI/LitServe

一个极简的 Python 框架,用于构建定制 AI 推理服务器,并完全控制逻辑、批处理和扩展。

Lightning-AI
⭐ 4,015 Python 👤 Lightning-AI Organization 🕐 已更新 2026-11-01 📅 创建时间 2023-12-12
8
PaddlePaddle/FastDeploy

基于PaddlePaddle的大模型和视觉大模型的推理和部署工具包

PaddlePaddle
⭐ 3,722 Python 👤 PaddlePaddle Organization 🕐 已更新 2026-09-24 📅 创建时间 2022-06-27
9
ray-project/llm-applications

构建用于生产环境的 RAG 驱动的 LLM 应用程序的综合指南。

ray-project
⭐ 1,865 Jupyter Notebook 👤 ray-project Organization 🕐 已更新 2026-08-15 📅 创建时间 2023-08-16
10
dingodb/dingo

一个多模态向量数据库,支持使用统一的 SQL (MySQL 兼容) 对结构化和非结构化数据进行 upsert 和向量查询,同时满足高并发和超低延迟的要求。

dingodb
⭐ 1,706 Java 👤 dingodb Organization 🕐 已更新 2026-10-30 📅 创建时间 2021-10-14
11
pixeltable/pixeltable

后端代理构建于——在一个文件中实现多模态数据库、编排和服务

pixeltable
⭐ 1,664 Python 👤 pixeltable Organization 🕐 已更新 2026-11-21 📅 创建时间 2023-05-10
12
Delta-ML/delta

DELTA 是一个基于深度学习的自然语言和语音处理平台。LF AI & DATA Projects: https://lfaidata.foundation/projects/delta/

Delta-ML
⭐ 1,602 Python 👤 Delta-ML Organization 🕐 已更新 2025-04-16 📅 创建时间 2019-05-29
13
openvinotoolkit/model_server

用于 OpenVINO™ 优化模型的可扩展推理服务器

openvinotoolkit
⭐ 961 C++ 👤 openvinotoolkit Organization 🕐 已更新 2026-11-21 📅 创建时间 2018-09-26
14
PaddlePaddle/Serving

一个灵活、高性能的机器学习模型载体(『飞桨』服务化部署框架)

PaddlePaddle
⭐ 926 C++ 👤 PaddlePaddle Organization 🕐 已更新 2026-02-20 📅 创建时间 2019-03-31
15
tobegit3hub/simple_tensorflow_serving

机器学习模型的通用且易于使用的服务部署服务

tobegit3hub
⭐ 758 JavaScript 👤 tobegit3hub User 🕐 已更新 2025-03-20 📅 创建时间 2018-01-23
16
meta-soul/MetaSpore

统一的端到端机器智能平台

meta-soul
⭐ 540 Python 👤 meta-soul Organization 🕐 已更新 2024-09-02 📅 创建时间 2022-03-24
17
vectorch-ai/ScaleLLM

一种针对大语言模型的高性能推理系统,专为生产环境设计。

vectorch-ai
⭐ 502 C++ 👤 vectorch-ai Organization 🕐 已更新 2025-12-19 📅 创建时间 2023-07-24

常见问题解答

1

GitHub 上最受欢迎的 #serving 仓库是什么?

GitHub 上排名第一的开源 #serving 项目是 ray-project/ray,拥有 44,352 个 Star。Ray 是一个 AI 计算引擎。Ray 由核心分布式运行时和一套用于加速 ML 工作负载的 AI 库组成。

2

#serving 仓库中最常使用的编程语言有哪些?

在 GitHub 上排名靠前的 #serving 项目中,最常见的编程语言是 Python, C++, Go, Jupyter Notebook。

3

#serving 仓库的排名是如何计算的?

我们跟踪了 17 个标记为 #serving 且拥有 500+ 个 Star 的活跃开源仓库,共计获得 90,023 个 Star,平均每个仓库拥有 5,295 个 Star。排名每日根据 GitHub API 更新。