Git Stars Git Stars

#llm-serving 仓库

探索 44 个标记为 #llm-serving 的活跃开源 GitHub 仓库,它们累计获得 381,346 个 Star(平均每个项目 8,666 个)。该主题的领先项目是 vllm-project/vllm,拥有 97,302 个 Star。

44
仓库总数
381,346
总星标数
8,666
平均每个仓库星标数
1
vllm-project/vllm

用于LLM的高吞吐量和内存高效的推理与服务引擎

vllm-project
⭐ 97,302 Python 👤 vllm-project Organization 🕐 已更新 2026-11-21 📅 创建时间 2023-02-09
2
exo-explore/exo

在本地运行 Frontier AI。

exo-explore
⭐ 48,516 Python 👤 exo-explore Organization 🕐 已更新 2026-11-06 📅 创建时间 2024-06-24
3
ray-project/ray

Ray 是一个 AI 计算引擎。Ray 由核心分布式运行时和一套用于加速 ML 工作负载的 AI 库组成。

ray-project
⭐ 44,352 Python 👤 ray-project Organization 🕐 已更新 2026-11-21 📅 创建时间 2016-10-25
4
lm-sys/FastChat

用于训练、部署和评估大型语言模型的开放平台。Vicuna 和 Chatbot Arena 的发布仓库。

lm-sys
⭐ 39,550 Python 👤 lm-sys Organization 🕐 已更新 2026-05-01 📅 创建时间 2023-03-19
5
liguodongiot/llm-action

本项目旨在分享大模型相关技术原理以及实战经验(大模型工程化、大模型应用落地)

liguodongiot
⭐ 25,297 HTML 👤 liguodongiot User 🕐 已更新 2026-10-14 📅 创建时间 2023-05-23
6
NVIDIA/TensorRT-LLM

TensorRT LLM 为用户提供了一个易于使用的 Python API 来定义大型语言模型(LLM),并支持最先进的优化,以便在 NVIDIA GPU 上高效执行推理。TensorRT LLM 还包含用于创建 Python 和 C++ 运行时的组件,这些运行时以高性能的方式协调推理执行。

NVIDIA
⭐ 15,112 Python 👤 NVIDIA Organization 🕐 已更新 2026-11-21 📅 创建时间 2023-08-16
7
bentoml/OpenLLM

在云端将 DeepSeek 和 Llama 等任何开源 LLM 作为 OpenAI 兼容的 API 端点运行。

bentoml
⭐ 12,610 Python 👤 bentoml Organization 🕐 已更新 2026-11-16 📅 创建时间 2023-04-19
8
skypilot-org/skypilot

面向前沿团队的AI计算平台。SkyPilot将分散的AI计算资源整合为一台AI超级计算机,让前沿AI团队更快地构建定制化智能。

skypilot-org
⭐ 10,869 Python 👤 skypilot-org Organization 🕐 已更新 2026-11-21 📅 创建时间 2021-08-11
9
bentoml/BentoML

提供 AI 应用和模型的最简单方式 - 构建模型推理 API、工作队列、LLM 应用、多模型管道等!

bentoml
⭐ 8,944 Python 👤 bentoml Organization 🕐 已更新 2026-11-17 📅 创建时间 2019-04-02
10
bojieli/ai-infra-book

《深入理解 AI Infra:量化分析与系统设计》(李博杰 著)开源书稿:从硬件约束和模型架构出发,量化推导 LLM 推理与训练系统设计。含全书正文、PDF、配套计算工具与实验

bojieli
⭐ 8,179 Python 👤 bojieli User 🕐 已更新 2026-10-01 📅 创建时间 2026-08-22
11
z-lab/dflash

DFlash:Flash 预期解码的块扩散

z-lab
⭐ 6,254 Python 👤 z-lab Organization 🕐 已更新 2026-08-18 📅 创建时间 2026-01-04
12
gpustack/gpustack

一个用于高性能 AI 模型服务(vLLM, SGLang)和按需 SSH 访问 GPU 实例的 GPU 集群管理器。

gpustack
⭐ 6,097 Python 👤 gpustack Organization 🕐 已更新 2026-11-20 📅 创建时间 2024-05-11
13
sgl-project/mini-sglang

SGLang 的一个紧凑实现,旨在揭开现代 LLM 服务系统复杂性的神秘面纱。

sgl-project
⭐ 5,623 Python 👤 sgl-project Organization 🕐 已更新 2026-05-17 📅 创建时间 2025-09-01
14
superduper-io/superduper

Superduper:用于构建自定义 AI 应用程序和代理的端到端框架。

superduper-io
⭐ 5,317 Python 👤 superduper-io Organization 🕐 已更新 2025-09-01 📅 创建时间 2022-08-30
15
SylphAI-Inc/LLM-engineer-handbook

一份精心策划的大型语言模型资源列表,涵盖模型训练、服务、微调和构建 LLM 应用。

SylphAI-Inc
⭐ 5,014 👤 SylphAI-Inc Organization 🕐 已更新 2025-08-18 📅 创建时间 2024-11-04
16
predibase/lorax

可扩展至数千个微调 LLM 的 Multi-LoRA 推理服务器

predibase
⭐ 3,836 Python 👤 predibase Organization 🕐 已更新 2026-05-28 📅 创建时间 2023-10-20
17
PaddlePaddle/FastDeploy

基于PaddlePaddle的大模型和视觉大模型的推理和部署工具包

PaddlePaddle
⭐ 3,722 Python 👤 PaddlePaddle Organization 🕐 已更新 2026-09-24 📅 创建时间 2022-06-27
18
vllm-project/vllm-ascend

社区维护的华为昇腾 vLLM 硬件插件

vllm-project
⭐ 3,128 Python 👤 vllm-project Organization 🕐 已更新 2026-11-21 📅 创建时间 2025-01-29
19
thu-pacman/chitu

面向大型语言模型的高性能推理框架,专注于效率、灵活性和可用性。

thu-pacman
⭐ 3,005 Python 👤 thu-pacman Organization 🕐 已更新 2026-11-21 📅 创建时间 2025-02-20
20
MoonshotAI/MoBA

MoBA: 适用于长上下文LLM的块注意力混合

MoonshotAI
⭐ 2,122 Python 👤 MoonshotAI Organization 🕐 已更新 2025-04-03 📅 创建时间 2025-02-17
21
microsoft/aici

AICI: 将提示作为(Wasm)程序

microsoft
⭐ 2,077 Rust 👤 microsoft Organization 🕐 已更新 2025-01-22 📅 创建时间 2023-09-26
22
SemiAnalysisAI/InferenceX

开源推理研究平台

SemiAnalysisAI
⭐ 2,074 Python 👤 SemiAnalysisAI Organization 🕐 已更新 2026-11-21 📅 创建时间 2025-07-12
23
ovg-project/kvcached

虚拟化弹性 KV 缓存:动态 GPU 共享及未来应用

ovg-project
⭐ 2,051 Python 👤 ovg-project Organization 🕐 已更新 2026-11-20 📅 创建时间 2025-05-27
24
HuangOwen/Awesome-LLM-Compression

关于LLM压缩的优秀研究论文和工具。

HuangOwen
⭐ 1,899 👤 HuangOwen User 🕐 已更新 2026-11-16 📅 创建时间 2023-05-30
25
RunanywhereAI/trnrt

面向 AWS Trainium 的开源大语言模型推理引擎:NKI mega kernel、100 万 token 上下文、兼容 OpenAI 的 API。由 RunAnywhere 打造。

RunanywhereAI
⭐ 1,653 Python 👤 RunanywhereAI Organization 🕐 已更新 2026-11-20 📅 创建时间 2026-10-30
26
GradientHQ/parallax

Parallax 是一个分布式模型服务框架,可让您在任何地方构建自己的 AI 集群

GradientHQ
⭐ 1,429 Python 👤 GradientHQ Organization 🕐 已更新 2026-07-01 📅 创建时间 2025-09-22
27
peonist-ai/halogen-flash-server

本地推理,体验媲美前沿 API:在 AMD Strix Halo 上运行 Qwen3.8-Flash-Next 和小型 NPU 模型,通过同一端口提供 OpenAI 和 Anthropic API。

peonist-ai
⭐ 1,412 Shell 👤 peonist-ai Organization 🕐 已更新 2026-11-18 📅 创建时间 2026-08-26
28
alibaba/rtp-llm

RTP-LLM:阿里巴巴用于多样化应用的高性能LLM推理引擎。

alibaba
⭐ 1,402 Python 👤 alibaba Organization 🕐 已更新 2026-11-21 📅 创建时间 2023-12-27
29
microsoft/MInference

[NeurIPS'24 Spotlight, ICLR'25, ICML'25] 为加速长上下文LLM的推理,近似和动态稀疏计算注意力,可在A100上将预填充的推理延迟降低高达10倍,同时保持准确性。

microsoft
⭐ 1,230 Python 👤 microsoft Organization 🕐 已更新 2026-11-18 📅 创建时间 2024-05-22
30
efeslab/Nanoflow

面向吞吐量的高性能LLM服务框架

efeslab
⭐ 978 Jupyter Notebook 👤 efeslab Organization 🕐 已更新 2026-03-29 📅 创建时间 2024-08-19
31
zhihu/ZhiLight

Llama 及其变体的超优化 LLM 推理加速引擎。

zhihu
⭐ 906 C++ 👤 zhihu Organization 🕐 已更新 2026-03-18 📅 创建时间 2024-12-06
32
mosecorg/mosec

一个高性能的 ML 模型服务框架,提供动态批处理和 CPU/GPU 管道,以充分利用您的计算机器

mosecorg
⭐ 905 Python 👤 mosecorg Organization 🕐 已更新 2026-11-02 📅 创建时间 2021-03-13
33
triton-inference-server/tutorials

此存储库包含 Triton Inference Server 的教程和示例

triton-inference-server
⭐ 869 Python 👤 triton-inference-server Organization 🕐 已更新 2026-11-17 📅 创建时间 2022-12-16
34
mit-han-lab/omniserve

[MLSys'25] QServe: 针对高效 LLM 推理的 W4A8KV4 量化与系统协同设计;[MLSys'25] LServe: 使用统一稀疏注意力实现高效长序列 LLM 推理

mit-han-lab
⭐ 840 C++ 👤 mit-han-lab Organization 🕐 已更新 2025-03-06 📅 创建时间 2024-05-06
35
helixml/helix

♾️ 带有特定编码的私有代理舰队。每个代理获得自己的 GPU 加速桌面。在完整的私有 AI 堆栈上运行 Claude、Codex、Gemini 和开源模型 ♾️

helixml
⭐ 833 Go 👤 helixml Organization 🕐 已更新 2026-11-20 📅 创建时间 2023-10-17
36
LLMServe/DistServe

大型语言模型(LLM)的分散式服务系统。

LLMServe
⭐ 817 Jupyter Notebook 👤 LLMServe Organization 🕐 已更新 2025-04-06 📅 创建时间 2024-01-16
37
ARahim3/kaggle-tpu-lab

在免费的 Kaggle TPU v5e-8 上运行前沿级开源模型:GLM-5.3-Flash 320B MoE(约 165 token/秒,采用我们自研的 JAX 引擎)和 Qwen3.8-27B bf16(约 130 token/秒),支持 262K 上下文和前缀缓存。可与 Claude Code、Codex、opencode 和 pi 配合使用。

ARahim3
⭐ 812 Python 👤 ARahim3 User 🕐 已更新 2026-10-06 📅 创建时间 2026-08-31
38
nunchaku-ai/deepcompressor

大语言模型与扩散模型的模型压缩工具箱

nunchux-ai
⭐ 799 Python 👤 nunchux-ai Organization 🕐 已更新 2025-08-14 📅 创建时间 2024-05-06
39
pegainfer-project/pegainfer

纯 Rust + CUDA 的 LLM 推理引擎——无需 PyTorch,兼容 OpenAI,支持从 Qwen3 到 Kimi-K2 的模型

pegainfer-project
⭐ 748 Rust 👤 pegainfer-project Organization 🕐 已更新 2026-11-21 📅 创建时间 2026-02-17
40
owenliang/qwen-vllm

通义千问VLLM推理部署DEMO

owenliang
⭐ 637 Python 👤 owenliang User 🕐 已更新 2024-03-28 📅 创建时间 2024-01-21
⭐ 574 Jupyter Notebook 👤 rohan-paul User 🕐 已更新 2025-04-01 📅 创建时间 2023-10-22
43
llumnix-project/llumnix-ray

高效易用的多实例大模型服务

llumnix-project
⭐ 561 Python 👤 llumnix-project Organization 🕐 已更新 2026-03-12 📅 创建时间 2024-05-20
44
OmniJev/Flide

🔥🔥 面向决策模型的超高速推理引擎

OmniJev
⭐ 550 Python 👤 OmniJev Organization 🕐 已更新 2026-11-21 📅 创建时间 2026-10-24

常见问题解答

1

GitHub 上最受欢迎的 #llm-serving 仓库是什么?

GitHub 上排名第一的开源 #llm-serving 项目是 vllm-project/vllm,拥有 97,302 个 Star。用于LLM的高吞吐量和内存高效的推理与服务引擎

2

#llm-serving 仓库中最常使用的编程语言有哪些?

在 GitHub 上排名靠前的 #llm-serving 项目中,最常见的编程语言是 Python, Jupyter Notebook, Rust, C++。

3

#llm-serving 仓库的排名是如何计算的?

我们跟踪了 44 个标记为 #llm-serving 且拥有 500+ 个 Star 的活跃开源仓库,共计获得 381,346 个 Star,平均每个仓库拥有 8,666 个 Star。排名每日根据 GitHub API 更新。