#inference-engine 仓库
探索 40 个标记为 #inference-engine 的活跃开源 GitHub 仓库,它们累计获得 102,063 个 Star(平均每个项目 2,551 个)。该主题的领先项目是 huggingface/candle,拥有 21,367 个 Star。
共 40 个仓库
一个拥有 2.78 万亿参数的 Kimi K3 模型,在单核 CPU 和 8.24 GB 内存下运行推理。可移植 C99 代码:无 BLAS,无框架,无 GPU。
FEDML - 面向大规模分布式训练、模型服务和联邦学习的统一且可扩展的机器学习库。跨云调度器 FEDML Launch 进一步支持在任何 GPU 云或本地集群上运行任何 AI 作业。基于该库构建的 TensorOpera AI (https://TensorOpera.ai) 是您的规模化生成式 AI 平台。
校招、秋招、春招、实习好项目!带你从零实现一个高性能的深度学习推理库,支持大模型 llama2 、Unet、Yolov5、Resnet等模型的推理。Implement a high-performance deep learning inference library step by step
在 Mac 上运行 Qwen 3.8 Flash Next、Qwen 3.8 27B 和 Ternary Bonsai 2 27B 的最快方式:在 M5 Max 上通过 OpenCode 达到 125 token/秒,并可在 16 GB Mac 上运行 27B 模型。在 Apple Silicon 上原生支持 MTP 推测解码,在任何温度下都能保持精确。兼容 OpenAI 和 Anthropic 的本地服务器。
SGLang x Datawhale 官方大语言模型推理课程:理解推理原理,从零构建一个迷你版 SGLang,然后阅读真正的 SGLang 源码并提交你的第一个 PR。课程提供英文和中文版本。
本地推理,体验媲美前沿 API:在 AMD Strix Halo 上运行 Qwen3.8-Flash-Next 和小型 NPU 模型,通过同一端口提供 OpenAI 和 Anthropic API。
在自己的 PC 上运行大型 AI 模型:使用 Strata 引擎运行 Qwen3.8-Flash-Next,使用专为 PolyStrata 打造的第二款引擎运行 GLM 5.3 Flash、DeepSeek V4 Flash、LFM2.5、Qwen3.6、Ornith 1.5、Gemma 4、Tiel Coder 和 MiniCPM-V。支持 Windows 和 Linux 一键安装,并在 localhost 上提供 OpenAI/Anthropic API。
Qualcomm® AI Hub Models 是我们收集的一系列最先进的机器学习模型,这些模型经过性能(延迟、内存等)优化,可随时部署在 Qualcomm® 设备上。
Paddle.js 是一个用于百度飞桨(Baidu PaddlePaddle)的 Web 项目,飞桨是一个运行在浏览器中的开源深度学习框架。Paddle.js 可以加载预训练模型,或者使用 Paddle.js 提供的模型转换工具将模型从 paddle-hub 进行转换。它可以在支持 WebGL/WebGPU/WebAssembly 的任何浏览器中运行。它也可以在百度小程序和微信小程序中运行。
[MLSys'25] QServe: 针对高效 LLM 推理的 W4A8KV4 量化与系统协同设计;[MLSys'25] LServe: 使用统一稀疏注意力实现高效长序列 LLM 推理
纯 Rust + CUDA 的 LLM 推理引擎——无需 PyTorch,兼容 OpenAI,支持从 Qwen3 到 Kimi-K2 的模型
在 Apple Silicon 上实现最高 4 倍速的 LLM 解码,且无损。DeepSeek 的 DSpark 和 z-lab 的 DFlash 推测解码的原生 MLX 移植版——支持 Gemma-4、Qwen3.8、Muse-Glimmer、Nemotron、LFM2.5、Ornith-1.0 以及三值 Bonsai-27B。
在一台 32 GB 笔记本电脑上运行 Qwen3-Next-80B(48 GB),速度可达 37 tok/s;不使用草稿解码时为 24 tok/s,而 llama.cpp 为 2.8 tok/s;读取速度为 62 tok/s 对 16 tok/s。在 Q4_K_M 下对比的全部 13 个模型中,速度都快于 llama.cpp。运行比内存更大的 LLM,纯 C 实现,支持 CPU 或 GPU。
面向 GGUF 模型的原生 .NET 大语言模型推理引擎和智能体运行时。TensorSharp 提供控制台应用、基于 Web 的聊天机器人界面、iPhone 应用,以及兼容 Ollama/OpenAI 的 HTTP API,支持以编程方式访问。它支持 Windows、macOS、iOS 和 Linux,并具备完整的 GPU 能力。
在无法容纳 105 GB 模型的 Mac 上运行它。Qwen3.8-Flash-Next 4-bit,可从 SSD 流式加载,在配备 16–64 GB 内存的 Apple Silicon Mac 上运行。完全采用原生 Swift、MLX 和 Metal。离线运行,无需 Python。提供 CLI、Swift 库以及 Ollama/OpenAI/Anthropic API。兼容 Claude Code 和 Codex。
在 NVIDIA GPU 上对 StartLux-Decision 模型进行快速、精确推理:已发布的 GGUF 文件通过 /v1/systemone API 使用 int8 和 4 位张量核心运行,在 FP8 下延迟比 vLLM 最高降低 5.3 倍,且答案逐位一致。
从教师到瓦片——一个从头构建的LLM蒸馏与推理引擎:自定义Triton/CUDA内核、FSDP蒸馏、分页KV连续批处理、推测解码、Rust网关、JAX预言机以及可解释性工具。
适用于 Intel 设备的推理引擎。通过 OpenAI 端点提供 LLM、VLM、Whisper、Kokoro-TTS、Embedding 和 Rerank 模型服务。
常见问题解答
GitHub 上最受欢迎的 #inference-engine 仓库是什么?
GitHub 上排名第一的开源 #inference-engine 项目是 huggingface/candle,拥有 21,367 个 Star。Rust 的极简机器学习框架
#inference-engine 仓库中最常使用的编程语言有哪些?
在 GitHub 上排名靠前的 #inference-engine 项目中,最常见的编程语言是 Python, C++, Rust, Go。
#inference-engine 仓库的排名是如何计算的?
我们跟踪了 40 个标记为 #inference-engine 且拥有 500+ 个 Star 的活跃开源仓库,共计获得 102,063 个 Star,平均每个仓库拥有 2,551 个 Star。排名每日根据 GitHub API 更新。