Git Stars Git Stars

#inference 仓库

144
仓库总数
870,238
总星标数
6,043
平均每个仓库星标数

共 144 个仓库

51
trymirai/uzu

面向AI模型的高性能推理引擎

trymirai
⭐ 3,378 Rust 👤 trymirai Organization 🕐 已更新 2026-11-21 📅 创建时间 2025-06-23
52
openvinotoolkit/openvino_notebooks

📚 OpenVINO™ 的 Jupyter Notebook 教程

openvinotoolkit
⭐ 3,245 Jupyter Notebook 👤 openvinotoolkit Organization 🕐 已更新 2026-11-21 📅 创建时间 2021-03-11
53
vllm-project/vllm-ascend

社区维护的华为昇腾 vLLM 硬件插件

vllm-project
⭐ 3,128 Python 👤 vllm-project Organization 🕐 已更新 2026-11-21 📅 创建时间 2025-01-29
54
pytorch/ao

用于训练和推理的 PyTorch 原生量化

pytorch
⭐ 3,032 Python 👤 pytorch Organization 🕐 已更新 2026-11-21 📅 创建时间 2023-11-03
55
pykeio/ort

Rust实现ONNX模型的快速ML推理与训练

pykeio
⭐ 2,626 Rust 👤 pykeio Organization 🕐 已更新 2026-11-18 📅 创建时间 2022-11-26
56
data-infra/cube-studio

cubestudio开源云原生一站式机器学习/深度学习/大模型AI平台/MaaS/mlops/人工智能平台/训推平台,算法全链路流程,多租户,算力租赁平台,token中转,拖拉拽任务流pipeline编排,多机多卡分布式训练,超参搜索,推理服务,VGPU虚拟化,云边端协同,边缘计算,自动化标注平台,deepseek等大模型sft微调/奖励模型/强化学习训练,vllm/ollama/mindie大模型多机推理,私有知识库llmops智能体,AI模型市场,支持国产异构算力调度,昇腾/寒武纪/海光/摩尔/沐曦等,支持ib/roce/RDMA,信创支持

data-infra
⭐ 2,615 Python 👤 data-infra User 🕐 已更新 2026-10-12 📅 创建时间 2024-07-02
57
huggingface/huggingface.js

将 Hugging Face 用于 JavaScript

huggingface
⭐ 2,613 TypeScript 👤 huggingface Organization 🕐 已更新 2026-11-21 📅 创建时间 2023-02-06
58
ddalcu/mlx-serve

适用于 Apple Silicon 的原生大语言模型推理服务器。兼容 OpenAI 和 Anthropic API。无需 Python。采用 Zig 后端和 Swift 前端的 macOS 应用,支持聊天、音乐、语音和视频生成。

ddalcu
⭐ 2,528 Zig 👤 ddalcu User 🕐 已更新 2026-11-21 📅 创建时间 2026-02-17
59
google/XNNPACK

面向移动、服务器和 Web 的高效率浮点神经网络推理运算符

google
⭐ 2,506 C 👤 google Organization 🕐 已更新 2026-11-21 📅 创建时间 2019-09-13
60
roboflow/inference

将任何计算机或边缘设备转变为计算机视觉项目的指挥中心。

roboflow
⭐ 2,500 Python 👤 roboflow Organization 🕐 已更新 2026-11-21 📅 创建时间 2023-07-31
61
theagentrouter/agent-router

管理基于 Envoy Gateway 构建的生成式 AI 服务的统一访问

theagentrouter
⭐ 2,428 Go 👤 theagentrouter Organization 🕐 已更新 2026-11-19 📅 创建时间 2024-10-21
62
adithya-s-k/AI-Engineering.academy

一次掌握一个应用AI概念

adithya-s-k
⭐ 2,388 Jupyter Notebook 👤 adithya-s-k User 🕐 已更新 2026-02-27 📅 创建时间 2023-10-05
63
dstackai/dstack

用于异构 AI 计算的统一编排层。它标准化了在 GPU 云、Kubernetes、虚拟机或裸机集群上管理计算资源以及运行训练和推理的方式。

dstackai
⭐ 2,319 Python 👤 dstackai Organization 🕐 已更新 2026-11-20 📅 创建时间 2022-01-04
64
mozilla-ai/any-llm

使用单一接口与 LLM 提供商通信

mozilla-ai
⭐ 2,265 Python 👤 mozilla-ai Organization 🕐 已更新 2026-11-21 📅 创建时间 2025-07-14
65
RightNow-AI/picolm

在配备256 MB RAM的$10板上运行一个10亿参数的LLM.

RightNow-AI
⭐ 2,218 C 👤 RightNow-AI Organization 🕐 已更新 2026-02-22 📅 创建时间 2026-02-19
66
magenta/magenta-js

Magenta.js: 在浏览器中使用机器学习进行音乐和艺术生成

magenta
⭐ 2,136 TypeScript 👤 magenta Organization 🕐 已更新 2026-06-22 📅 创建时间 2018-03-26
67
tairov/llama2.mojo

纯粹的🔥单文件Llama 2推理

tairov
⭐ 2,126 Mojo 👤 tairov User 🕐 已更新 2026-09-30 📅 创建时间 2023-09-10
68
deepspeedai/DeepSpeed-MII

MII 通过 DeepSpeed 实现低延迟、高吞吐量的推理。

deepspeedai
⭐ 2,107 Python 👤 deepspeedai Organization 🕐 已更新 2025-06-30 📅 创建时间 2022-03-23
69
microsoft/aici

AICI: 将提示作为(Wasm)程序

microsoft
⭐ 2,077 Rust 👤 microsoft Organization 🕐 已更新 2025-01-22 📅 创建时间 2023-09-26
70
SemiAnalysisAI/InferenceX

开源推理研究平台

SemiAnalysisAI
⭐ 2,074 Python 👤 SemiAnalysisAI Organization 🕐 已更新 2026-11-21 📅 创建时间 2025-07-12
71
sgl-project/sglang-omni

面向交互式超级智能系统的高性能服务运行时

sgl-project
⭐ 1,882 Python 👤 sgl-project Organization 🕐 已更新 2026-11-21 📅 创建时间 2026-01-07
72
AgibotTech/agibot_x1_infer

AgiBot X1 的推理模块。

AgibotTech
⭐ 1,817 C++ 👤 AgibotTech Organization 🕐 已更新 2025-04-03 📅 创建时间 2024-10-23
73
StartLuxLabs/StartLux-Decision

参数规模从 0.8B 到 27B 的开放式决策模型:一次推理即可为每个选项给出经过校准的概率,仅在不确定时提供简短思考。适用于 vLLM、llama.cpp 和 MLX 的引擎。

StartLuxLabs
⭐ 1,780 Python 👤 StartLuxLabs Organization 🕐 已更新 2026-10-23 📅 创建时间 2026-09-29
74
theopenco/llmgateway

通过统一的 API 接口,跨多个提供商路由、管理和分析您的 LLM 请求。

theopenco
⭐ 1,755 TypeScript 👤 theopenco Organization 🕐 已更新 2026-11-21 📅 创建时间 2025-04-12
75
Maratyszcza/NNPACK

多核 CPU 上神经网络的加速包

Maratyszcza
⭐ 1,702 C 👤 Maratyszcza User 🕐 已更新 2024-06-11 📅 创建时间 2016-03-21
76
ELS-RD/transformer-deploy

适用于 🤗 Hugging Face Transformer 模型的、高效、可扩展、企业级的 CPU/GPU 推理服务器 🚀

ELS-RD
⭐ 1,689 Python 👤 ELS-RD Organization 🕐 已更新 2024-10-23 📅 创建时间 2021-10-31
77
RunanywhereAI/trnrt

面向 AWS Trainium 的开源大语言模型推理引擎:NKI mega kernel、100 万 token 上下文、兼容 OpenAI 的 API。由 RunAnywhere 打造。

RunanywhereAI
⭐ 1,653 Python 👤 RunanywhereAI Organization 🕐 已更新 2026-11-20 📅 创建时间 2026-10-30
78
xLLM-AI/xllm

一款面向 LLM、VLM 和 DiT 模型的高性能推理引擎,针对多种 AI 加速器进行了优化。该项目托管于开放原子开源基金会。

xLLM-AI
⭐ 1,626 C++ 👤 xLLM-AI Organization 🕐 已更新 2026-11-21 📅 创建时间 2025-08-12
79
Delta-ML/delta

DELTA 是一个基于深度学习的自然语言和语音处理平台。LF AI & DATA Projects: https://lfaidata.foundation/projects/delta/

Delta-ML
⭐ 1,602 Python 👤 Delta-ML Organization 🕐 已更新 2025-04-16 📅 创建时间 2019-05-29
80
utkuozdemir/nvidia_gpu_exporter

使用 nvidia-smi 二进制文件或 NVML 的 Prometheus NVIDIA GPU 导出器

utkuozdemir
⭐ 1,599 Go 👤 utkuozdemir User 🕐 已更新 2026-11-20 📅 创建时间 2021-06-08
81
Tencent/TurboTransformers

CPU和GPU上用于Transformer推理(Bert、Albert、GPT2、Decoders等)的快速且用户友好的运行时。

Tencent
⭐ 1,546 C++ 👤 Tencent Organization 🕐 已更新 2025-07-18 📅 创建时间 2020-04-20
⭐ 1,503 Python 👤 Stability-AI Organization 🕐 已更新 2025-01-08 📅 创建时间 2024-10-09
83
sybil-solutions/inference-optimisation-skill

用于在任意硬件和量化设置下逐步优化本地 LLM 服务速度(解码、推测解码、预填充、KV、启动、首 Token 延迟)的 Agent 技能

sybil-solutions
⭐ 1,425 Python 👤 sybil-solutions Organization 🕐 已更新 2026-11-16 📅 创建时间 2026-11-16
84
alibaba/rtp-llm

RTP-LLM:阿里巴巴用于多样化应用的高性能LLM推理引擎。

alibaba
⭐ 1,402 Python 👤 alibaba Organization 🕐 已更新 2026-11-21 📅 创建时间 2023-12-27
85
ebhy/budgetml

用少于 10 行代码在一个有限的预算内部署 ML 推理服务。

ebhy
⭐ 1,345 Python 👤 ebhy Organization 🕐 已更新 2024-02-12 📅 创建时间 2020-12-27
86
StarlightSearch/EmbedAnything

使用 Rust 🦀 构建的、高性能、模块化、内存安全且适用于生产环境的推理、摄取和索引

StarlightSearch
⭐ 1,334 Rust 👤 StarlightSearch Organization 🕐 已更新 2026-11-18 📅 创建时间 2024-03-31
87
qualcomm/ai-hub-models

Qualcomm® AI Hub Models 是我们收集的一系列最先进的机器学习模型,这些模型经过性能(延迟、内存等)优化,可随时部署在 Qualcomm® 设备上。

qualcomm
⭐ 1,269 Python 👤 qualcomm Organization 🕐 已更新 2026-11-21 📅 创建时间 2023-12-20
88
NVIDIA/kvpress

LLM KV缓存压缩,得心应手

NVIDIA
⭐ 1,258 Python 👤 NVIDIA Organization 🕐 已更新 2026-11-16 📅 创建时间 2024-11-06
89
FenTechSolutions/CausalDiscoveryToolbox

用于图和成对设置中的因果推理的包。包含图结构恢复和依赖关系的工具。

FenTechSolutions
⭐ 1,242 Python 👤 FenTechSolutions Organization 🕐 已更新 2025-10-13 📅 创建时间 2017-05-31
90
run-house/kubetorch

在 Kubernetes 上以 Python 的方式神奇地分发和运行 AI 工作负载,就像用于 ML 基础设施的 PyTorch 一样。

run-house
⭐ 1,228 Python 👤 run-house Organization 🕐 已更新 2026-05-29 📅 创建时间 2022-05-10
91
google/agentmesh

智能体网格

google
⭐ 1,208 Go 👤 google Organization 🕐 已更新 2026-11-21 📅 创建时间 2026-04-21
92
jmaczan/tiny-vllm

用C++和CUDA构建你自己的高性能LLM推理引擎——vLLM的缩小版

jmaczan
⭐ 1,207 C++ 👤 jmaczan User 🕐 已更新 2026-11-15 📅 创建时间 2026-02-09
93
chrishayuk/larql

运行、托管、查询和编辑 AI 模型——这是一个基于 VINDEX3 构建的 Rust 模型运行时;VINDEX3 是一种可执行、可检查的模型格式。

chrishayuk
⭐ 1,196 Rust 👤 chrishayuk User 🕐 已更新 2026-11-21 📅 创建时间 2026-03-27
94
usamahz/cpu-performance-engineering

CPU 性能工程学习路径:从一条指令到生产环境推理。仅采用一手资料,并为每个章节提供可运行的基准测试。

usamahz
⭐ 1,160 Python 👤 usamahz User 🕐 已更新 2026-10-08 📅 创建时间 2026-09-17
95
receptron/laya

通过 ONNX Runtime 从 Node.js / TypeScript 运行 Laya——开源且兼容 Jev 的 System-1 决策模型

receptron
⭐ 1,092 TypeScript 👤 receptron Organization 🕐 已更新 2026-10-17 📅 创建时间 2026-09-19
96
Helldez/BigMoeOnEdge

运行比内存容量更大的 MoE 模型。在手机、笔记本电脑或边缘设备上运行前沿级 MoE。无损,基于原版 llama.cpp。自适应流式优化器。支持任何硬件、任何操作系统、任何模型、任何量化方式,并通过本地兼容 OpenAI 的服务器提供服务。

Helldez
⭐ 1,066 C++ 👤 Helldez User 🕐 已更新 2026-11-21 📅 创建时间 2026-07-10
97
jjang-ai/mlxstudio

MLX Studio——在 Mac 上运行大型语言模型的最简单方式。一体化引擎。

jjang-ai
⭐ 992 👤 jjang-ai User 🕐 已更新 2026-11-07 📅 创建时间 2026-03-05
98
efeslab/Nanoflow

面向吞吐量的高性能LLM服务框架

efeslab
⭐ 978 Jupyter Notebook 👤 efeslab Organization 🕐 已更新 2026-03-29 📅 创建时间 2024-08-19
99
openvinotoolkit/model_server

用于 OpenVINO™ 优化模型的可扩展推理服务器

openvinotoolkit
⭐ 961 C++ 👤 openvinotoolkit Organization 🕐 已更新 2026-11-21 📅 创建时间 2018-09-26
100
huawei-noah/bolt

Bolt 是一个具有高性能和异构灵活性的深度学习库。

huawei-noah
⭐ 958 C++ 👤 huawei-noah Organization 🕐 已更新 2025-04-11 📅 创建时间 2019-12-02