Git Stars Git Stars

#model-serving 仓库

探索 51 个标记为 #model-serving 的活跃开源 GitHub 仓库,它们累计获得 211,758 个 Star(平均每个项目 4,152 个)。该主题的领先项目是 vllm-project/vllm,拥有 97,302 个 Star。

51
仓库总数
211,758
总星标数
4,152
平均每个仓库星标数
1
vllm-project/vllm

用于LLM的高吞吐量和内存高效的推理与服务引擎

vllm-project
⭐ 97,302 Python 👤 vllm-project Organization 🕐 已更新 2026-11-21 📅 创建时间 2023-02-09
2
bentoml/BentoML

提供 AI 应用和模型的最简单方式 - 构建模型推理 API、工作队列、LLM 应用、多模型管道等!

bentoml
⭐ 8,944 Python 👤 bentoml Organization 🕐 已更新 2026-11-17 📅 创建时间 2019-04-02
3
vllm-project/vllm-omni

适用于全模态模型的高效模型推理框架

vllm-project
⭐ 7,884 Python 👤 vllm-project Organization 🕐 已更新 2026-11-21 📅 创建时间 2025-09-11
4
flyteorg/flyte

在您的 k8s 上,以类型安全的方式分布式编排智能体、机器学习流水线和实时推理——使用纯 Python 和 async/await,也支持其他语言(Rust、Go 和 TypeScript)

flyteorg
⭐ 7,801 Go 👤 flyteorg Organization 🕐 已更新 2026-11-21 📅 创建时间 2019-10-21
6
kserve/kserve

用于Kubernetes上可扩展、多框架部署的标准分布式生成和预测AI推理平台

kserve
⭐ 6,253 Go 👤 kserve Organization 🕐 已更新 2026-11-20 📅 创建时间 2019-03-27
7
beclab/Olares

用于全天候智能体的开源个人云操作系统

beclab
⭐ 5,373 Go 👤 beclab Organization 🕐 已更新 2026-11-21 📅 创建时间 2024-04-29
8
ahkarami/Deep-Learning-in-Production

在这个仓库中,我将分享一些关于在生产环境中部署基于深度学习模型的有用笔记和参考资料。

ahkarami
⭐ 4,380 👤 ahkarami User 🕐 已更新 2024-11-09 📅 创建时间 2018-05-03
9
ModelTC/LightLLM

LightLLM是一个基于Python的LLM(大语言模型)推理和服务框架,以其轻量级设计、易于扩展和高速性能而闻名。

ModelTC
⭐ 4,368 Python 👤 ModelTC Organization 🕐 已更新 2026-11-21 📅 创建时间 2023-07-22
10
HuaizhengZhang/AI-Infra-from-Zero-to-Hero

🚀 机器学习超级系统 ⚡️ AI 系统论文和行业实践。 ⚡️ 机器学习系统,LLM(大语言模型),GenAI(生成式 AI)。 🍻 OSDI, NSDI, SIGCOMM, SoCC, MLSys 等。 🗃️ Llama3, Mistral 等。 🧑‍💻 视频教程。

HuaizhengZhang
⭐ 4,224 👤 HuaizhengZhang User 🕐 已更新 2025-07-25 📅 创建时间 2019-01-07
11
FedML-AI/FedML

FEDML - 面向大规模分布式训练、模型服务和联邦学习的统一且可扩展的机器学习库。跨云调度器 FEDML Launch 进一步支持在任何 GPU 云或本地集群上运行任何 AI 作业。基于该库构建的 TensorOpera AI (https://TensorOpera.ai) 是您的规模化生成式 AI 平台。

FedML-AI
⭐ 4,068 Python 👤 FedML-AI Organization 🕐 已更新 2026-11-12 📅 创建时间 2020-07-21
12
predibase/lorax

可扩展至数千个微调 LLM 的 Multi-LoRA 推理服务器

predibase
⭐ 3,836 Python 👤 predibase Organization 🕐 已更新 2026-05-28 📅 创建时间 2023-10-20
13
vllm-project/vllm-ascend

社区维护的华为昇腾 vLLM 硬件插件

vllm-project
⭐ 3,128 Python 👤 vllm-project Organization 🕐 已更新 2026-11-21 📅 创建时间 2025-01-29
14
openlake-project/openlake

OpenLake 是一个用于高效 LLM 推理和 GPU 训练的高性能存储引擎

openlake-project
⭐ 3,089 Rust 👤 openlake-project Organization 🕐 已更新 2026-11-19 📅 创建时间 2026-04-27
15
thu-pacman/chitu

面向大型语言模型的高性能推理框架,专注于效率、灵活性和可用性。

thu-pacman
⭐ 3,005 Python 👤 thu-pacman Organization 🕐 已更新 2026-11-21 📅 创建时间 2025-02-20
16
AmberLJC/LLMSys-PaperList

大语言模型(LLM)系统论文列表

AmberLJC
⭐ 2,332 Python 👤 AmberLJC User 🕐 已更新 2026-10-20 📅 创建时间 2023-06-06
17
tensorchord/envd

🏕️ 供人类和代理使用的可复现开发环境

tensorchord
⭐ 2,249 Go 👤 tensorchord Organization 🕐 已更新 2026-11-19 📅 创建时间 2022-04-11
18
microsoft/aici

AICI: 将提示作为(Wasm)程序

microsoft
⭐ 2,077 Rust 👤 microsoft Organization 🕐 已更新 2025-01-22 📅 创建时间 2023-09-26
19
tile-ai/TileRT

用于超低延迟LLM推理的基于平铺的运行时

tile-ai
⭐ 1,906 Python 👤 tile-ai Organization 🕐 已更新 2026-09-24 📅 创建时间 2025-11-12
20
sgl-project/sglang-omni

面向交互式超级智能系统的高性能服务运行时

sgl-project
⭐ 1,882 Python 👤 sgl-project Organization 🕐 已更新 2026-11-21 📅 创建时间 2026-01-07
21
janhq/awesome-local-ai

本地人工智能工具的绝佳存储库

janhq
⭐ 1,791 👤 janhq Organization 🕐 已更新 2024-11-13 📅 创建时间 2023-09-06
22
mlrun/mlrun

MLRun 是一个开源 MLOps 平台,可快速构建和管理整个生命周期的连续 ML 应用程序。MLRun 集成到您的开发和 CI/CD 环境中,并自动化生产数据、ML 管道和在线应用程序的交付。

mlrun
⭐ 1,703 Python 👤 mlrun Organization 🕐 已更新 2026-11-20 📅 创建时间 2019-09-01
23
ollaya-dev/ollaya

兼容 Jev 的开放决策模型 API 服务器。面向决策模型的 Ollama:可在本地拉取并运行 29 个模型系列(Laya、pplx-decider、Clef、Winnow、coba……),也可通过 /v1/systemone 自托管。TypeSafe SDK 无需任何改动即可使用:设置基础 URL 并选择一个开放模型。提供 CLI、桌面应用、Docker、MCP 服务器和公开基准测试。

ollaya-dev
⭐ 1,473 Rust 👤 ollaya-dev Organization 🕐 已更新 2026-11-21 📅 创建时间 2026-09-23
24
kitops-ml/kitops

CNCF 的一个开源 DevOps 工具,用于将 AI/ML 模型、数据集、代码和配置打包并版本化为 OCI 构件。

kitops-ml
⭐ 1,451 Go 👤 kitops-ml Organization 🕐 已更新 2026-11-20 📅 创建时间 2024-02-02
25
alibaba/rtp-llm

RTP-LLM:阿里巴巴用于多样化应用的高性能LLM推理引擎。

alibaba
⭐ 1,402 Python 👤 alibaba Organization 🕐 已更新 2026-11-21 📅 创建时间 2023-12-27
26
hemingkx/SpeculativeDecodingPapers

📰 关于 Speculative Decoding 的必读论文和博客 ⚡️

hemingkx
⭐ 1,309 👤 hemingkx User 🕐 已更新 2026-06-27 📅 创建时间 2023-09-20
27
logicalclocks/hopsworks

Hopsworks - 具有 Feature Store 的数据密集型 AI 平台

logicalclocks
⭐ 1,299 Java 👤 logicalclocks Organization 🕐 已更新 2025-02-10 📅 创建时间 2018-07-26
28
DataExpert-io/ai-engineer-handbook

所有您需要关注的链接、书籍和创作者,以保持对人工智能的最新了解!

DataExpert-io
⭐ 1,261 👤 DataExpert-io Organization 🕐 已更新 2026-11-20 📅 创建时间 2026-02-16
29
basetenlabs/truss

在生产环境中部署 AI/ML 模型的最简单方法

basetenlabs
⭐ 1,236 Python 👤 basetenlabs Organization 🕐 已更新 2026-11-20 📅 创建时间 2022-07-06
30
gpu-mode/awesomeMLSys

ML系统入职列表

gpu-mode
⭐ 1,154 👤 gpu-mode Organization 🕐 已更新 2026-02-19 📅 创建时间 2024-05-06
31
efeslab/Nanoflow

面向吞吐量的高性能LLM服务框架

efeslab
⭐ 978 Jupyter Notebook 👤 efeslab Organization 🕐 已更新 2026-03-29 📅 创建时间 2024-08-19
32
openvinotoolkit/model_server

用于 OpenVINO™ 优化模型的可扩展推理服务器

openvinotoolkit
⭐ 961 C++ 👤 openvinotoolkit Organization 🕐 已更新 2026-11-21 📅 创建时间 2018-09-26
⭐ 944 👤 triton-inference-server Organization 🕐 已更新 2026-11-02 📅 创建时间 2023-09-12
34
replicate/replicate-python

Replicate的Python客户端

replicate
⭐ 909 Python 👤 replicate Organization 🕐 已更新 2025-08-26 📅 创建时间 2022-05-11
35
zhihu/ZhiLight

Llama 及其变体的超优化 LLM 推理加速引擎。

zhihu
⭐ 906 C++ 👤 zhihu Organization 🕐 已更新 2026-03-18 📅 创建时间 2024-12-06
36
mosecorg/mosec

一个高性能的 ML 模型服务框架,提供动态批处理和 CPU/GPU 管道,以充分利用您的计算机器

mosecorg
⭐ 905 Python 👤 mosecorg Organization 🕐 已更新 2026-11-02 📅 创建时间 2021-03-13
37
trainindata/deploying-machine-learning-models

在线课程“机器学习模型部署”的代码

trainindata
⭐ 879 Jupyter Notebook 👤 trainindata Organization 🕐 已更新 2024-08-20 📅 创建时间 2019-01-09
38
InternLM/Intern-S1

一个科学的多模态基础模型

InternLM
⭐ 876 👤 InternLM Organization 🕐 已更新 2026-09-13 📅 创建时间 2025-07-25
39
bentoml/Yatai

在 Kubernetes 上大规模部署模型 🦄️

bentoml
⭐ 843 TypeScript 👤 bentoml Organization 🕐 已更新 2026-05-30 📅 创建时间 2021-07-30
40
Tejas-TA/predikit

连接你的机器学习模型与 AI 智能体之间缺失的桥梁。

Tejas-TA
⭐ 840 Python 👤 Tejas-TA User 🕐 已更新 2026-10-28 📅 创建时间 2026-05-25
41
pegainfer-project/pegainfer

纯 Rust + CUDA 的 LLM 推理引擎——无需 PyTorch,兼容 OpenAI,支持从 Qwen3 到 Kimi-K2 的模型

pegainfer-project
⭐ 748 Rust 👤 pegainfer-project Organization 🕐 已更新 2026-11-21 📅 创建时间 2026-02-17
42
abhishekkrthakur
⭐ 728 Python 👤 abhishekkrthakur User 🕐 已更新 2024-09-14 📅 创建时间 2021-10-26
43
ServerlessLLM/ServerlessLLM

人人皆可享用的无服务器 LLM 推理服务。

ServerlessLLM
⭐ 720 Python 👤 ServerlessLLM Organization 🕐 已更新 2026-09-04 📅 创建时间 2024-01-23
44
kossisoroyce/timber

Ollama 用于经典 ML 模型。AOT 编译器,将 XGBoost、LightGBM、scikit-learn、CatBoost 和 ONNX 模型转换为原生 C99 推理代码。加载一条命令,服务一条命令。比 Python 推理快 336 倍。

kossisoroyce
⭐ 692 Python 👤 kossisoroyce User 🕐 已更新 2026-04-16 📅 创建时间 2026-02-27
46
mlfoundations/evalchemy

LLM的自动评估

mlfoundations
⭐ 617 HTML 👤 mlfoundations Organization 🕐 已更新 2026-11-12 📅 创建时间 2024-11-15
47
eightBEC/fastapi-ml-skeleton

一个用于部署机器学习模型的 FastAPI 骨架应用,开箱即用。

eightBEC
⭐ 601 Python 👤 eightBEC User 🕐 已更新 2026-01-08 📅 创建时间 2020-02-15
48
predibase/llm_distillation_playbook

蒸馏大型语言模型的最佳实践。

predibase
⭐ 596 Jupyter Notebook 👤 predibase Organization 🕐 已更新 2024-02-01 📅 创建时间 2023-12-06
49
fufankeji/DeepSeek-OCR-Web

开箱即用的DeepSeek OCR文档解析Web Studio

fufankeji
⭐ 568 TypeScript 👤 fufankeji User 🕐 已更新 2025-10-27 📅 创建时间 2025-10-23

常见问题解答

1

GitHub 上最受欢迎的 #model-serving 仓库是什么?

GitHub 上排名第一的开源 #model-serving 项目是 vllm-project/vllm,拥有 97,302 个 Star。用于LLM的高吞吐量和内存高效的推理与服务引擎

2

#model-serving 仓库中最常使用的编程语言有哪些?

在 GitHub 上排名靠前的 #model-serving 项目中,最常见的编程语言是 Python, Go, Rust, Jupyter Notebook。

3

#model-serving 仓库的排名是如何计算的?

我们跟踪了 51 个标记为 #model-serving 且拥有 500+ 个 Star 的活跃开源仓库,共计获得 211,758 个 Star,平均每个仓库拥有 4,152 个 Star。排名每日根据 GitHub API 更新。