Git Stars Git Stars

#inference 仓库

探索 144 个标记为 #inference 的活跃开源 GitHub 仓库,它们累计获得 870,238 个 Star(平均每个项目 6,043 个)。该主题的领先项目是 vllm-project/vllm,拥有 97,302 个 Star。

144
仓库总数
870,238
总星标数
6,043
平均每个仓库星标数

共 144 个仓库

1
vllm-project/vllm

用于LLM的高吞吐量和内存高效的推理与服务引擎

vllm-project
⭐ 97,302 Python 👤 vllm-project Organization 🕐 已更新 2026-11-21 📅 创建时间 2023-02-09
2
ultralytics/yolov5

基于PyTorch的Ultralytics YOLOv5,用于目标检测、实例分割、分类、训练和导出。

ultralytics
⭐ 58,290 Python 👤 ultralytics Organization 🕐 已更新 2026-11-16 📅 创建时间 2020-05-18
3
ggml-org/whisper.cpp

OpenAI Whisper模型在C/C++上的移植

ggml-org
⭐ 55,392 C++ 👤 ggml-org Organization 🕐 已更新 2026-11-20 📅 创建时间 2022-09-25
4
deepspeedai/DeepSpeed

DeepSpeed 是一个深度学习优化库,使分布式训练和推理变得简单、高效且有效。

deepspeedai
⭐ 43,348 Python 👤 deepspeedai Organization 🕐 已更新 2026-11-21 📅 创建时间 2020-01-23
5
hpcaitech/ColossalAI

让大型人工智能模型更便宜、更快、更易于访问

hpcaitech
⭐ 41,421 Python 👤 hpcaitech Organization 🕐 已更新 2026-11-19 📅 创建时间 2021-10-28
6
sgl-project/sglang

SGLang 是一个用于大型语言模型和多模态模型的高性能服务框架。

sgl-project
⭐ 38,899 Python 👤 sgl-project Organization 🕐 已更新 2026-11-21 📅 创建时间 2024-01-08
7
google-ai-edge/mediapipe

跨平台、可定制的机器学习解决方案,用于实时和流媒体。

google-ai-edge
⭐ 37,769 C++ 👤 google-ai-edge Organization 🕐 已更新 2026-11-21 📅 创建时间 2019-06-13
8
SYSTRAN/faster-whisper

使用 CTranslate2 实现更快的 Whisper 转录

SYSTRAN
⭐ 26,924 Python 👤 SYSTRAN Organization 🕐 已更新 2026-11-12 📅 创建时间 2023-02-11
9
Tencent/ncnn

ncnn 是一个为移动平台优化的高性能神经网络推理框架

Tencent
⭐ 24,082 C++ 👤 Tencent Organization 🕐 已更新 2026-11-21 📅 创建时间 2017-06-30
10
stas00/ml-engineering

机器学习工程公开课

stas00
⭐ 19,738 Python 👤 stas00 User 🕐 已更新 2026-11-20 📅 创建时间 2020-09-02
11
FlashML-org/FreeToken

FreeToken 将数据中心级别的模型服务带到您的桌面。在本地快速、高效地运行超大模型。

FlashML-org
⭐ 17,522 Python 👤 FlashML-org User 🕐 已更新 2026-11-21 📅 创建时间 2026-07-20
⭐ 16,519 Python 👤 GeeeekExplorer User 🕐 已更新 2026-04-26 📅 创建时间 2025-06-09
13
gvergnaud/ts-pattern

🎨 适用于 TypeScript、具有智能类型推断的详尽模式匹配库。

gvergnaud
⭐ 15,224 TypeScript 👤 gvergnaud User 🕐 已更新 2026-11-20 📅 创建时间 2020-05-24
14
NVIDIA/TensorRT

NVIDIA® TensorRT™ 是一个用于 NVIDIA GPU 上高性能深度学习推理的 SDK。此存储库包含 TensorRT 的开源组件。

NVIDIA
⭐ 13,475 C++ 👤 NVIDIA Organization 🕐 已更新 2026-11-18 📅 创建时间 2019-05-02
15
LMCache/LMCache

LMCache:利用最快的 KV 缓存层为您的 LLM 提速

LMCache
⭐ 12,405 Python 👤 LMCache Organization 🕐 已更新 2026-11-21 📅 创建时间 2024-05-28
16
openvinotoolkit/openvino

OpenVINO™ 是一个用于优化和部署 AI 推理的开源工具包。

openvinotoolkit
⭐ 11,869 C++ 👤 openvinotoolkit Organization 🕐 已更新 2026-11-21 📅 创建时间 2018-10-15
17
triton-inference-server/server

Triton Inference Server 提供优化的云和边缘推理解决方案。

triton-inference-server
⭐ 11,156 Python 👤 triton-inference-server Organization 🕐 已更新 2026-11-20 📅 创建时间 2018-10-04
18
aws/amazon-sagemaker-examples

示例 📓 Jupyter 笔记本,演示如何使用 🧠 Amazon SageMaker 构建、训练和部署机器学习模型。

aws
⭐ 11,020 Jupyter Notebook 👤 aws Organization 🕐 已更新 2026-10-14 📅 创建时间 2017-10-23
19
huggingface/text-generation-inference

大型语言模型文本生成推理

huggingface
⭐ 10,812 Python 👤 huggingface Organization 🕐 已更新 2026-01-08 📅 创建时间 2022-10-08
20
ultralytics/yolov3

用于实时目标检测的 YOLOv3、YOLOv3-SPP 和 YOLOv3-tiny 的 PyTorch 实现,支持训练、验证、推理和多格式导出。

ultralytics
⭐ 10,647 Python 👤 ultralytics Organization 🕐 已更新 2026-11-07 📅 创建时间 2018-08-26
21
RunanywhereAI/runanywhere-sdks

用于在本地运行AI的生产就绪型工具包

RunanywhereAI
⭐ 10,354 C++ 👤 RunanywhereAI Organization 🕐 已更新 2026-11-10 📅 创建时间 2025-07-22
22
xorbitsai/inference

面向语言、视觉、嵌入、重排序、图像、音频和视频模型的开源推理平台。支持通过多个推理引擎部署在异构硬件上,覆盖从笔记本电脑到分布式集群的各种环境。通过兼容 OpenAI 的 API 提供模型服务。

xorbitsai
⭐ 9,667 Python 👤 xorbitsai Organization 🕐 已更新 2026-11-21 📅 创建时间 2023-06-14
23
oumi-ai/oumi

轻松微调(SFT/RL)、评估并部署 Qwen、Gemma 或任何开源智能体 LLM/VLM!

oumi-ai
⭐ 9,441 Python 👤 oumi-ai Organization 🕐 已更新 2026-11-21 📅 创建时间 2024-05-07
24
dusty-nv/jetson-inference

Hello AI World:使用 TensorRT 和 NVIDIA Jetson 部署深度学习推理网络和深度视觉原语的指南。

dusty-nv
⭐ 9,015 C++ 👤 dusty-nv User 🕐 已更新 2025-10-16 📅 创建时间 2016-07-30
25
vllm-project/vllm-omni

适用于全模态模型的高效模型推理框架

vllm-project
⭐ 7,884 Python 👤 vllm-project Organization 🕐 已更新 2026-11-21 📅 创建时间 2025-09-11
26
Human-Agent-Society/reef

用于持续自我改进型智能体的基础设施

Human-Agent-Society
⭐ 7,652 Python 👤 Human-Agent-Society Organization 🕐 已更新 2026-11-21 📅 创建时间 2026-08-31
27
mizorewww/laya-mlx

适用于 Laya 类型化决策模型的原生 MLX 运行时——在 M3 Max 上,短决策耗时 7–14 毫秒。不进行文本生成,不使用 PyTorch 或云端 API。

mizorewww
⭐ 7,115 Python 👤 mizorewww User 🕐 已更新 2026-11-21 📅 创建时间 2026-09-19
28
kvcache-ai/Mooncake

Mooncake 是 Moonshot AI 提供的领先 LLM 服务 Kimi 的服务平台。

kvcache-ai
⭐ 7,100 C++ 👤 kvcache-ai Organization 🕐 已更新 2026-11-21 📅 创建时间 2024-06-25
29
gcanti/io-ts

IO编码/解码的运行时类型系统

gcanti
⭐ 6,812 TypeScript 👤 gcanti User 🕐 已更新 2024-12-10 📅 创建时间 2017-01-28
30
vllm-project/semantic-router

面向模型与计算的开放、可编程决策层。

vllm-project
⭐ 6,514 Go 👤 vllm-project Organization 🕐 已更新 2026-11-21 📅 创建时间 2025-08-26
31
argmaxinc/argmax-oss-swift

适用于 Apple Silicon 的设备端语音 AI

argmaxinc
⭐ 6,471 Swift 👤 argmaxinc Organization 🕐 已更新 2026-10-27 📅 创建时间 2024-01-26
32
Trusted-AI/adversarial-robustness-toolbox

对抗鲁棒性工具箱 (ART) - 机器学习安全 Python 库 - 规避、中毒、提取、推理 - 红队和蓝队

Trusted-AI
⭐ 6,322 Python 👤 Trusted-AI Organization 🕐 已更新 2026-11-13 📅 创建时间 2018-03-15
33
gpustack/gpustack

一个用于高性能 AI 模型服务(vLLM, SGLang)和按需 SSH 访问 GPU 实例的 GPU 集群管理器。

gpustack
⭐ 6,097 Python 👤 gpustack Organization 🕐 已更新 2026-11-20 📅 创建时间 2024-05-11
34
llm-d/llm-d

在 Kubernetes 上借助现代加速器实现最先进的推理性能

llm-d
⭐ 5,325 Python 👤 llm-d Organization 🕐 已更新 2026-11-21 📅 创建时间 2025-04-29
35
superduper-io/superduper

Superduper:用于构建自定义 AI 应用程序和代理的端到端框架。

superduper-io
⭐ 5,317 Python 👤 superduper-io Organization 🕐 已更新 2025-09-01 📅 创建时间 2022-08-30
36
tencentmusic/cube-studio

cube studio开源云原生一站式机器学习/深度学习/大模型AI平台,mlops算法链路全流程,算力租赁平台,notebook在线开发,拖拉拽任务流pipeline编排,多机多卡分布式训练,超参搜索,推理服务VGPU虚拟化,边缘计算,标注平台自动化标注,deepseek等大模型sft微调/奖励模型/强化学习训练,vllm/ollama/mindie大模型多机推理,私有知识库,AI模型市场,支持国产cpu/gpu/npu 昇腾生态,支持RDMA,支持pytorch/tf/mxnet/deepspeed/paddle/colossalai/horovod/ray/volcano等分布式

tencentmusic
⭐ 5,085 👤 tencentmusic Organization 🕐 已更新 2026-10-09 📅 创建时间 2021-08-17
37
NVIDIA-AI-IOT/torch2trt

一个易于使用的 PyTorch 到 TensorRT 转换器

NVIDIA-AI-IOT
⭐ 4,840 Python 👤 NVIDIA-AI-IOT Organization 🕐 已更新 2024-08-17 📅 创建时间 2019-04-27
38
hao-ai-lab/FastVideo

用于加速视频生成的统一推理和训练后框架。

hao-ai-lab
⭐ 4,833 Python 👤 hao-ai-lab Organization 🕐 已更新 2026-11-20 📅 创建时间 2024-10-24
39
OpenNMT/CTranslate2

Transformer 模型的快速推理引擎

OpenNMT
⭐ 4,758 C++ 👤 OpenNMT Organization 🕐 已更新 2026-11-21 📅 创建时间 2019-09-23
40
Tencent/TNN

TNN:由腾讯优图实验室和光影实验室开发的、适用于移动设备、桌面和服务器的统一深度学习推理框架。TNN的突出特点包括:跨平台能力、高性能、模型压缩和代码剪枝。基于ncnn和Rapidnet,TNN进一步加强了对移动设备的支持和性能优化,并借鉴了现有开源项目的良好可扩展性和高性能优势。

Tencent
⭐ 4,635 C++ 👤 Tencent Organization 🕐 已更新 2025-05-09 📅 创建时间 2020-05-29
41
typedb/typedb

TypeDB:为系统而生,而非为记录

typedb
⭐ 4,524 Rust 👤 typedb Organization 🕐 已更新 2026-11-19 📅 创建时间 2016-07-11
42
openvinotoolkit/open_model_zoo

预训练深度学习模型和演示(高质量且极快)

openvinotoolkit
⭐ 4,440 Python 👤 openvinotoolkit Organization 🕐 已更新 2026-11-16 📅 创建时间 2018-10-15
43
zml/zml

任何模型。任何硬件。零妥协。使用 @ziglang / @openxla / MLIR / @bazelbuild 构建

zml
⭐ 4,292 Zig 👤 zml Organization 🕐 已更新 2026-11-20 📅 创建时间 2024-09-17
44
uxlfoundation/oneDNN

面向 CPU(x64、AArch64、RISC-V)和英特尔 GPU 的开源优化深度学习算子库(矩阵乘法、卷积、注意力机制)。被 PyTorch、TensorFlow、OpenVINO 和 ONNX Runtime 使用。

uxlfoundation
⭐ 4,094 C++ 👤 uxlfoundation Organization 🕐 已更新 2026-11-21 📅 创建时间 2016-05-09
45
OpenCSGs/csghub

CSGHub 是由 OpenCSG 团队开发的全新开源 LLM 管理平台。它提供开源和本地/SaaS 解决方案,功能与 Hugging Face 相当。通过与 Hugging Face 兼容的 Python SDK,全面掌控 LLM、数据集和代理的生命周期。加入我们吧!⭐️

OpenCSGs
⭐ 4,083 Vue 👤 OpenCSGs Organization 🕐 已更新 2026-11-13 📅 创建时间 2024-01-12
46
FlashML-org/FreeVideo

用你现有的电脑制作视频。FreeVideo 仅需 8 GB 显存和 16 GB 内存即可运行 MiniMax H3,并会根据你的硬件调整加速路径。

FlashML-org
⭐ 4,049 Python 👤 FlashML-org User 🕐 已更新 2026-11-20 📅 创建时间 2026-09-13
47
PaddlePaddle/FastDeploy

基于PaddlePaddle的大模型和视觉大模型的推理和部署工具包

PaddlePaddle
⭐ 3,722 Python 👤 PaddlePaddle Organization 🕐 已更新 2026-09-24 📅 创建时间 2022-06-27
48
superlinked/sie

为您的智能体所需的所有模型提供开源推理服务器和生产集群。

superlinked
⭐ 3,534 Python 👤 superlinked Organization 🕐 已更新 2026-11-20 📅 创建时间 2023-11-07
49
huggingface/optimum

使用易于使用的硬件优化工具,加速 🤗 Transformers, Diffusers, TIMM 和 Sentence Transformers 的推理和训练

huggingface
⭐ 3,525 Python 👤 huggingface Organization 🕐 已更新 2026-11-16 📅 创建时间 2021-07-20
50
zjhellofss/KuiperInfer

校招、秋招、春招、实习好项目!带你从零实现一个高性能的深度学习推理库,支持大模型 llama2 、Unet、Yolov5、Resnet等模型的推理。Implement a high-performance deep learning inference library step by step

zjhellofss
⭐ 3,444 C++ 👤 zjhellofss User 🕐 已更新 2025-06-22 📅 创建时间 2022-11-21

常见问题解答

1

GitHub 上最受欢迎的 #inference 仓库是什么?

GitHub 上排名第一的开源 #inference 项目是 vllm-project/vllm,拥有 97,302 个 Star。用于LLM的高吞吐量和内存高效的推理与服务引擎

2

#inference 仓库中最常使用的编程语言有哪些?

在 GitHub 上排名靠前的 #inference 项目中,最常见的编程语言是 Python, C++, TypeScript, Jupyter Notebook。

3

#inference 仓库的排名是如何计算的?

我们跟踪了 144 个标记为 #inference 且拥有 500+ 个 Star 的活跃开源仓库,共计获得 870,238 个 Star,平均每个仓库拥有 6,043 个 Star。排名每日根据 GitHub API 更新。