Git Stars Git Stars

#inference-engine 仓库

探索 40 个标记为 #inference-engine 的活跃开源 GitHub 仓库,它们累计获得 102,063 个 Star(平均每个项目 2,551 个)。该主题的领先项目是 huggingface/candle,拥有 21,367 个 Star。

40
仓库总数
102,063
总星标数
2,551
平均每个仓库星标数
1
huggingface/candle

Rust 的极简机器学习框架

huggingface
⭐ 21,367 Rust 👤 huggingface Organization 🕐 已更新 2026-11-19 📅 创建时间 2023-06-19
2
halfrost/Halfrost-Field

✍🏻 源码深度解析、系统设计与工程实践博客 | Halfrost-Field 冰霜之地:源码解析、系统设计与工程实践笔记

halfrost
⭐ 13,259 Go 👤 halfrost User 🕐 已更新 2026-11-10 📅 创建时间 2017-04-02
3
FareedKhan-dev/kimi-k3-in-c

一个拥有 2.78 万亿参数的 Kimi K3 模型,在单核 CPU 和 8.24 GB 内存下运行推理。可移植 C99 代码:无 BLAS,无框架,无 GPU。

FareedKhan-dev
⭐ 12,523 C 👤 FareedKhan-dev User 🕐 已更新 2026-11-16 📅 创建时间 2026-08-01
4
bbycroft/llm-viz

GPT风格LLM的3D可视化

bbycroft
⭐ 5,599 TypeScript 👤 bbycroft User 🕐 已更新 2026-08-10 📅 创建时间 2023-03-01
5
FedML-AI/FedML

FEDML - 面向大规模分布式训练、模型服务和联邦学习的统一且可扩展的机器学习库。跨云调度器 FEDML Launch 进一步支持在任何 GPU 云或本地集群上运行任何 AI 作业。基于该库构建的 TensorOpera AI (https://TensorOpera.ai) 是您的规模化生成式 AI 平台。

FedML-AI
⭐ 4,068 Python 👤 FedML-AI Organization 🕐 已更新 2026-11-12 📅 创建时间 2020-07-21
6
zjhellofss/KuiperInfer

校招、秋招、春招、实习好项目!带你从零实现一个高性能的深度学习推理库,支持大模型 llama2 、Unet、Yolov5、Resnet等模型的推理。Implement a high-performance deep learning inference library step by step

zjhellofss
⭐ 3,444 C++ 👤 zjhellofss User 🕐 已更新 2025-06-22 📅 创建时间 2022-11-21
7
Luce-Org/lucebox

适用于异构硬件和消费级 GPU 的 Lucebox 推理引擎

Luce-Org
⭐ 3,024 C++ 👤 Luce-Org Organization 🕐 已更新 2026-11-21 📅 创建时间 2026-04-03
8
xdit-project/xDiT

xDiT: 具有大规模并行性的扩散Transformer(DiTs)的可扩展推理引擎

xdit-project
⭐ 2,755 Python 👤 xdit-project Organization 🕐 已更新 2026-11-20 📅 创建时间 2024-03-19
9
youssofal/MTPLX

在 Mac 上运行 Qwen 3.8 Flash Next、Qwen 3.8 27B 和 Ternary Bonsai 2 27B 的最快方式:在 M5 Max 上通过 OpenCode 达到 125 token/秒,并可在 16 GB Mac 上运行 27B 模型。在 Apple Silicon 上原生支持 MTP 推测解码,在任何温度下都能保持精确。兼容 OpenAI 和 Anthropic 的本地服务器。

youssofal
⭐ 2,729 Python 👤 youssofal User 🕐 已更新 2026-11-21 📅 创建时间 2026-05-02
10
hyperjumptech/grule-rule-engine

Golang 中的规则引擎实现

hyperjumptech
⭐ 2,539 Go 👤 hyperjumptech Organization 🕐 已更新 2026-02-10 📅 创建时间 2019-12-13
11
datawhalechina/zero-to-sglang

SGLang x Datawhale 官方大语言模型推理课程:理解推理原理,从零构建一个迷你版 SGLang,然后阅读真正的 SGLang 源码并提交你的第一个 PR。课程提供英文和中文版本。

datawhalechina
⭐ 2,306 Python 👤 datawhalechina Organization 🕐 已更新 2026-11-17 📅 创建时间 2026-08-27
12
ovg-project/kvcached

虚拟化弹性 KV 缓存:动态 GPU 共享及未来应用

ovg-project
⭐ 2,051 Python 👤 ovg-project Organization 🕐 已更新 2026-11-20 📅 创建时间 2025-05-27
13
siliconflow/onediff

OneDiff:扩散模型的即用型加速库。

siliconflow
⭐ 1,961 Jupyter Notebook 👤 siliconflow Organization 🕐 已更新 2025-12-04 📅 创建时间 2022-09-21
14
dphnAI/sonar

大规模LLM推理引擎

dphnAI
⭐ 1,911 Python 👤 dphnAI Organization 🕐 已更新 2026-11-17 📅 创建时间 2023-06-23
15
nobodywho-ooo/nobodywho

NobodyWho 是一个推理引擎,允许你在任何设备上本地高效地运行 LLM。

nobodywho-ooo
⭐ 1,699 Rust 👤 nobodywho-ooo Organization 🕐 已更新 2026-11-19 📅 创建时间 2024-09-03
16
xLLM-AI/xllm

一款面向 LLM、VLM 和 DiT 模型的高性能推理引擎,针对多种 AI 加速器进行了优化。该项目托管于开放原子开源基金会。

xLLM-AI
⭐ 1,626 C++ 👤 xLLM-AI Organization 🕐 已更新 2026-11-21 📅 创建时间 2025-08-12
17
peonist-ai/halogen-flash-server

本地推理,体验媲美前沿 API:在 AMD Strix Halo 上运行 Qwen3.8-Flash-Next 和小型 NPU 模型,通过同一端口提供 OpenAI 和 Anthropic API。

peonist-ai
⭐ 1,412 Shell 👤 peonist-ai Organization 🕐 已更新 2026-11-18 📅 创建时间 2026-08-26
18
simplexai-labs/PolyStrata

在自己的 PC 上运行大型 AI 模型:使用 Strata 引擎运行 Qwen3.8-Flash-Next,使用专为 PolyStrata 打造的第二款引擎运行 GLM 5.3 Flash、DeepSeek V4 Flash、LFM2.5、Qwen3.6、Ornith 1.5、Gemma 4、Tiel Coder 和 MiniCPM-V。支持 Windows 和 Linux 一键安装,并在 localhost 上提供 OpenAI/Anthropic API。

simplexai-labs
⭐ 1,324 C++ 👤 simplexai-labs Organization 🕐 已更新 2026-11-18 📅 创建时间 2026-10-06
19
qualcomm/ai-hub-models

Qualcomm® AI Hub Models 是我们收集的一系列最先进的机器学习模型,这些模型经过性能(延迟、内存等)优化,可随时部署在 Qualcomm® 设备上。

qualcomm
⭐ 1,269 Python 👤 qualcomm Organization 🕐 已更新 2026-11-21 📅 创建时间 2023-12-20
20
RainBowLuoCS/Gamer

Gamer 官方实现:面向长时程实时游戏智能体的通用视觉-语言-动作基础模型

RainBowLuoCS
⭐ 1,179 👤 RainBowLuoCS User 🕐 已更新 2026-11-16 📅 创建时间 2026-10-30
21
PaddlePaddle/Paddle.js

Paddle.js 是一个用于百度飞桨(Baidu PaddlePaddle)的 Web 项目,飞桨是一个运行在浏览器中的开源深度学习框架。Paddle.js 可以加载预训练模型,或者使用 Paddle.js 提供的模型转换工具将模型从 paddle-hub 进行转换。它可以在支持 WebGL/WebGPU/WebAssembly 的任何浏览器中运行。它也可以在百度小程序和微信小程序中运行。

PaddlePaddle
⭐ 1,071 JavaScript 👤 PaddlePaddle Organization 🕐 已更新 2024-04-03 📅 创建时间 2020-03-26
22
wangeai/K3Flight

在 CPU 上本地运行 Kimi K3,运行时内存占用约为 55GB。这是一个由 cPilot Runtime 驱动的单文件 Linux 推理服务器。

wangeai
⭐ 1,019 HTML 👤 wangeai Organization 🕐 已更新 2026-07-31 📅 创建时间 2026-07-30
23
jjang-ai/mlxstudio

MLX Studio——在 Mac 上运行大型语言模型的最简单方式。一体化引擎。

jjang-ai
⭐ 992 👤 jjang-ai User 🕐 已更新 2026-11-07 📅 创建时间 2026-03-05
24
zhihu/ZhiLight

Llama 及其变体的超优化 LLM 推理加速引擎。

zhihu
⭐ 906 C++ 👤 zhihu Organization 🕐 已更新 2026-03-18 📅 创建时间 2024-12-06
25
insight-platform/Savant

附带现成功能的 Python 计算机视觉和视频分析框架

insight-platform
⭐ 868 Python 👤 insight-platform Organization 🕐 已更新 2026-09-23 📅 创建时间 2022-05-07
26
mit-han-lab/omniserve

[MLSys'25] QServe: 针对高效 LLM 推理的 W4A8KV4 量化与系统协同设计;[MLSys'25] LServe: 使用统一稀疏注意力实现高效长序列 LLM 推理

mit-han-lab
⭐ 840 C++ 👤 mit-han-lab Organization 🕐 已更新 2025-03-06 📅 创建时间 2024-05-06
27
pegainfer-project/pegainfer

纯 Rust + CUDA 的 LLM 推理引擎——无需 PyTorch,兼容 OpenAI,支持从 Qwen3 到 Kimi-K2 的模型

pegainfer-project
⭐ 748 Rust 👤 pegainfer-project Organization 🕐 已更新 2026-11-21 📅 创建时间 2026-02-17
28
ARahim3/mlx-dspark

在 Apple Silicon 上实现最高 4 倍速的 LLM 解码,且无损。DeepSeek 的 DSpark 和 z-lab 的 DFlash 推测解码的原生 MLX 移植版——支持 Gemma-4、Qwen3.8、Muse-Glimmer、Nemotron、LFM2.5、Ornith-1.0 以及三值 Bonsai-27B。

ARahim3
⭐ 743 Python 👤 ARahim3 User 🕐 已更新 2026-11-08 📅 创建时间 2026-06-29
29
prabanta-dev/janas

在一台 32 GB 笔记本电脑上运行 Qwen3-Next-80B(48 GB),速度可达 37 tok/s;不使用草稿解码时为 24 tok/s,而 llama.cpp 为 2.8 tok/s;读取速度为 62 tok/s 对 16 tok/s。在 Q4_K_M 下对比的全部 13 个模型中,速度都快于 llama.cpp。运行比内存更大的 LLM,纯 C 实现,支持 CPU 或 GPU。

prabanta-dev
⭐ 738 C 👤 prabanta-dev Organization 🕐 已更新 2026-11-20 📅 创建时间 2026-09-20
30
zhongkaifu/TensorSharp

面向 GGUF 模型的原生 .NET 大语言模型推理引擎和智能体运行时。TensorSharp 提供控制台应用、基于 Web 的聊天机器人界面、iPhone 应用,以及兼容 Ollama/OpenAI 的 HTTP API,支持以编程方式访问。它支持 Windows、macOS、iOS 和 Linux,并具备完整的 GPU 能力。

zhongkaifu
⭐ 681 C# 👤 zhongkaifu User 🕐 已更新 2026-11-20 📅 创建时间 2026-04-03
31
carloslfu/slotstream

在无法容纳 105 GB 模型的 Mac 上运行它。Qwen3.8-Flash-Next 4-bit,可从 SSD 流式加载,在配备 16–64 GB 内存的 Apple Silicon Mac 上运行。完全采用原生 Swift、MLX 和 Metal。离线运行,无需 Python。提供 CLI、Swift 库以及 Ollama/OpenAI/Anthropic API。兼容 Claude Code 和 Codex。

carloslfu
⭐ 674 Swift 👤 carloslfu User 🕐 已更新 2026-11-17 📅 创建时间 2026-08-28
32
andrewkchan/yalm

另一个语言模型:C++/CUDA中的LLM推理,除I/O外无任何库

andrewkchan
⭐ 597 C++ 👤 andrewkchan User 🕐 已更新 2025-09-13 📅 创建时间 2024-10-02
33
pylint-dev/astroid

pylint 和其他项目的 Python 源代码的通用基础表示

pylint-dev
⭐ 589 Python 👤 pylint-dev Organization 🕐 已更新 2026-11-20 📅 创建时间 2015-12-08
34
zjhellofss/KuiperLLama

校招、秋招、春招、实习好项目,带你从零动手实现支持LLama2/3和Qwen2.5的大模型推理框架。

zjhellofss
⭐ 581 C++ 👤 zjhellofss User 🕐 已更新 2025-10-28 📅 创建时间 2024-04-25
35
StartLuxLabs/StartLux-Prism

在 NVIDIA GPU 上对 StartLux-Decision 模型进行快速、精确推理:已发布的 GGUF 文件通过 /v1/systemone API 使用 int8 和 4 位张量核心运行,在 FP8 下延迟比 vLLM 最高降低 5.3 倍,且答案逐位一致。

StartLuxLabs
⭐ 560 Python 👤 StartLuxLabs Organization 🕐 已更新 2026-10-27 📅 创建时间 2026-10-13
36
zengxiao-he/tessera

从教师到瓦片——一个从头构建的LLM蒸馏与推理引擎:自定义Triton/CUDA内核、FSDP蒸馏、分页KV连续批处理、推测解码、Rust网关、JAX预言机以及可解释性工具。

zengxiao-he
⭐ 556 Python 👤 zengxiao-he User 🕐 已更新 2026-10-09 📅 创建时间 2026-06-05
37
SearchSavior/OpenArc

适用于 Intel 设备的推理引擎。通过 OpenAI 端点提供 LLM、VLM、Whisper、Kokoro-TTS、Embedding 和 Rerank 模型服务。

SearchSavior
⭐ 551 Python 👤 SearchSavior User 🕐 已更新 2026-11-21 📅 创建时间 2025-02-11
38
OmniJev/Flide

🔥🔥 面向决策模型的超高速推理引擎

OmniJev
⭐ 550 Python 👤 OmniJev Organization 🕐 已更新 2026-11-21 📅 创建时间 2026-10-24
39
Generated-Computers/Locals

在 Mac 上同时运行多个 AI 智能体,速度最高可提升 3 倍。

Generated-Computers
⭐ 538 Python 👤 Generated-Computers Organization 🕐 已更新 2026-11-21 📅 创建时间 2026-10-12
40
brontoguana/krasis

Krasis 是一个混合型 LLM 运行时,专注于在显存受限的消费级硬件上高效运行大型模型

brontoguana
⭐ 530 C++ 👤 brontoguana User 🕐 已更新 2026-11-12 📅 创建时间 2026-02-09

常见问题解答

1

GitHub 上最受欢迎的 #inference-engine 仓库是什么?

GitHub 上排名第一的开源 #inference-engine 项目是 huggingface/candle,拥有 21,367 个 Star。Rust 的极简机器学习框架

2

#inference-engine 仓库中最常使用的编程语言有哪些?

在 GitHub 上排名靠前的 #inference-engine 项目中,最常见的编程语言是 Python, C++, Rust, Go。

3

#inference-engine 仓库的排名是如何计算的?

我们跟踪了 40 个标记为 #inference-engine 且拥有 500+ 个 Star 的活跃开源仓库,共计获得 102,063 个 Star,平均每个仓库拥有 2,551 个 Star。排名每日根据 GitHub API 更新。