#cpu-inference 仓库
探索 17 个标记为 #cpu-inference 的活跃开源 GitHub 仓库,它们累计获得 84,398 个 Star(平均每个项目 4,964 个)。该主题的领先项目是 microsoft/BitNet,拥有 42,358 个 Star。
共 17 个仓库
一个拥有 2.78 万亿参数的 Kimi K3 模型,在单核 CPU 和 8.24 GB 内存下运行推理。可移植 C99 代码:无 BLAS,无框架,无 GPU。
Offline translation model server with low resource consumption, fast speed, and private deployment capability. 低资源占用速度快可私有部署的离线翻译模型服务器
零 GPU、纯 CPU 推理,支持 30B–284B MoE 模型(Qwen3.8 176.5B 已在 28.26/48.35 GiB 的 Cgroup v2 冷缓存环境中通过认证、DeepSeek-V4 284B、Nemotron-30B)+ RouteCrack 2.0。
Vui Nano——一个在真实对话上训练的小型上下文感知文本转语音模型。219M 活跃参数(总计 305M),采用 Apache 2.0 许可证,支持声音克隆和流式处理,可在 CPU 上运行(无依赖的 C 构建版本)。随附完整的实时语音助手:支持 WebRTC、ASR、本地 LLM,并兼容 OpenAI Realtime API。
在一台 32 GB 笔记本电脑上运行 Qwen3-Next-80B(48 GB),速度可达 37 tok/s;不使用草稿解码时为 24 tok/s,而 llama.cpp 为 2.8 tok/s;读取速度为 62 tok/s 对 16 tok/s。在 Q4_K_M 下对比的全部 13 个模型中,速度都快于 llama.cpp。运行比内存更大的 LLM,纯 C 实现,支持 CPU 或 GPU。
常见问题解答
GitHub 上最受欢迎的 #cpu-inference 仓库是什么?
GitHub 上排名第一的开源 #cpu-inference 项目是 microsoft/BitNet,拥有 42,358 个 Star。1比特LLM的官方推理框架
#cpu-inference 仓库中最常使用的编程语言有哪些?
在 GitHub 上排名靠前的 #cpu-inference 项目中,最常见的编程语言是 Python, C++, C, HTML。
#cpu-inference 仓库的排名是如何计算的?
我们跟踪了 17 个标记为 #cpu-inference 且拥有 500+ 个 Star 的活跃开源仓库,共计获得 84,398 个 Star,平均每个仓库拥有 4,964 个 Star。排名每日根据 GitHub API 更新。