Git Stars Git Stars

#cpu-inference 仓库

探索 17 个标记为 #cpu-inference 的活跃开源 GitHub 仓库,它们累计获得 84,398 个 Star(平均每个项目 4,964 个)。该主题的领先项目是 microsoft/BitNet,拥有 42,358 个 Star。

17
仓库总数
84,398
总星标数
4,964
平均每个仓库星标数
1
microsoft/BitNet

1比特LLM的官方推理框架

microsoft
⭐ 42,358 C++ 👤 microsoft Organization 🕐 已更新 2026-07-27 📅 创建时间 2024-08-05
2
FareedKhan-dev/kimi-k3-in-c

一个拥有 2.78 万亿参数的 Kimi K3 模型,在单核 CPU 和 8.24 GB 内存下运行推理。可移植 C99 代码:无 BLAS,无框架,无 GPU。

FareedKhan-dev
⭐ 12,523 C 👤 FareedKhan-dev User 🕐 已更新 2026-11-16 📅 创建时间 2026-08-01
3
google/gemma.cpp

Google Gemma 模型轻量级独立 C++ 推理引擎。

google
⭐ 7,089 C++ 👤 google Organization 🕐 已更新 2026-11-20 📅 创建时间 2024-02-13
4
xxnuo/MTranServer

Offline translation model server with low resource consumption, fast speed, and private deployment capability. 低资源占用速度快可私有部署的离线翻译模型服务器

xxnuo
⭐ 4,758 C++ 👤 xxnuo User 🕐 已更新 2026-11-18 📅 创建时间 2025-02-06
5
OpenMOSS/MOSS-TTS-Nano

一个拥有1亿参数的多语言文本转语音(TTS)模型,支持实时CPU推理、声音克隆和48 kHz立体声生成

OpenMOSS
⭐ 4,711 Python 👤 OpenMOSS Organization 🕐 已更新 2026-09-06 📅 创建时间 2026-04-10
6
fastino-ai/GLiNER2

统一的基于模式的信息提取

fastino-ai
⭐ 2,490 Python 👤 fastino-ai Organization 🕐 已更新 2026-11-20 📅 创建时间 2025-07-07
8
dleemiller/WordLlama

LLM 的 token 嵌入可以做什么

dleemiller
⭐ 1,448 Python 👤 dleemiller User 🕐 已更新 2025-12-01 📅 创建时间 2024-06-12
9
synchopate/llama-modchip

零 GPU、纯 CPU 推理,支持 30B–284B MoE 模型(Qwen3.8 176.5B 已在 28.26/48.35 GiB 的 Cgroup v2 冷缓存环境中通过认证、DeepSeek-V4 284B、Nemotron-30B)+ RouteCrack 2.0。

synchopate
⭐ 1,398 Python 👤 synchopate User 🕐 已更新 2026-11-21 📅 创建时间 2026-10-29
10
wangeai/K3Flight

在 CPU 上本地运行 Kimi K3,运行时内存占用约为 55GB。这是一个由 cPilot Runtime 驱动的单文件 Linux 推理服务器。

wangeai
⭐ 1,019 HTML 👤 wangeai Organization 🕐 已更新 2026-07-31 📅 创建时间 2026-07-30
11
feder-cr/jev

jevos:Jev 和 Microsoft-Decision-1 的开源替代方案。在笔记本电脑的 CPU 上进行是/否决策、选择和评分,并提供概率。

feder-cr
⭐ 970 C++ 👤 feder-cr User 🕐 已更新 2026-10-18 📅 创建时间 2024-08-15
12
Phocinae/Phocinae-Largha-150M-v1

斑海豹 — Phocinae-Largha-150M-v1:一款 144.3M 双语决策模型。小模型,大决断。小海豹,大决断。

Phocinae
⭐ 797 Python 👤 Phocinae Organization 🕐 已更新 2026-10-20 📅 创建时间 2026-10-08
13
fluxions-ai/vui

Vui Nano——一个在真实对话上训练的小型上下文感知文本转语音模型。219M 活跃参数(总计 305M),采用 Apache 2.0 许可证,支持声音克隆和流式处理,可在 CPU 上运行(无依赖的 C 构建版本)。随附完整的实时语音助手:支持 WebRTC、ASR、本地 LLM,并兼容 OpenAI Realtime API。

fluxions-ai
⭐ 782 Python 👤 fluxions-ai Organization 🕐 已更新 2026-10-10 📅 创建时间 2025-06-05
14
prabanta-dev/janas

在一台 32 GB 笔记本电脑上运行 Qwen3-Next-80B(48 GB),速度可达 37 tok/s;不使用草稿解码时为 24 tok/s,而 llama.cpp 为 2.8 tok/s;读取速度为 62 tok/s 对 16 tok/s。在 Q4_K_M 下对比的全部 13 个模型中,速度都快于 llama.cpp。运行比内存更大的 LLM,纯 C 实现,支持 CPU 或 GPU。

prabanta-dev
⭐ 738 C 👤 prabanta-dev Organization 🕐 已更新 2026-11-20 📅 创建时间 2026-09-20
15
ai25395/FMatPix

支持Latex和MathML的免费便携式公式OCR工具

ai25395
⭐ 614 Python 👤 ai25395 User 🕐 已更新 2025-04-21 📅 创建时间 2024-10-20
16
lucienhuangfu/eLLM

eLLM:在CPU上比在GPU上更快地运行长程推理

lucienhuangfu
⭐ 602 Rust 👤 lucienhuangfu User 🕐 已更新 2026-11-12 📅 创建时间 2025-06-30
17
brontoguana/krasis

Krasis 是一个混合型 LLM 运行时,专注于在显存受限的消费级硬件上高效运行大型模型

brontoguana
⭐ 530 C++ 👤 brontoguana User 🕐 已更新 2026-11-12 📅 创建时间 2026-02-09

常见问题解答

1

GitHub 上最受欢迎的 #cpu-inference 仓库是什么?

GitHub 上排名第一的开源 #cpu-inference 项目是 microsoft/BitNet,拥有 42,358 个 Star。1比特LLM的官方推理框架

2

#cpu-inference 仓库中最常使用的编程语言有哪些?

在 GitHub 上排名靠前的 #cpu-inference 项目中,最常见的编程语言是 Python, C++, C, HTML。

3

#cpu-inference 仓库的排名是如何计算的?

我们跟踪了 17 个标记为 #cpu-inference 且拥有 500+ 个 Star 的活跃开源仓库,共计获得 84,398 个 Star,平均每个仓库拥有 4,964 个 Star。排名每日根据 GitHub API 更新。