Git Stars Git Stars

#llama-cpp 仓库

探索 69 个标记为 #llama-cpp 的活跃开源 GitHub 仓库,它们累计获得 212,421 个 Star(平均每个项目 3,078 个)。该主题的领先项目是 QwenLM/Qwen3,拥有 27,753 个 Star。

69
仓库总数
212,421
总星标数
3,078
平均每个仓库星标数
1
QwenLM/Qwen3

Qwen3是阿里云Qwen团队开发的语言大模型系列。

QwenLM
⭐ 27,753 Python 👤 QwenLM Organization 🕐 已更新 2026-01-09 📅 创建时间 2024-02-05
2
mozilla-ai/llamafile

使用单个文件分发和运行 LLM。

mozilla-ai
⭐ 26,681 C++ 👤 mozilla-ai Organization 🕐 已更新 2026-11-09 📅 创建时间 2023-09-10
3
altic-dev/FluidVoice

最快、唯一一款支持设备端语音转文字(STT)并配备定制训练 AI 增强模型的 macOS 听写应用。Windows 和 iOS TestFlight 版现已推出!Android 和 Linux 候补名单现已开放!Wispr Flow 的本地替代方案。关注 https://x.com/fluidvoiceapp 了解更多。

altic-dev
⭐ 13,189 Swift 👤 altic-dev User 🕐 已更新 2026-11-21 📅 创建时间 2025-09-21
4
getumbrel/llama-gpt

一个自托管、离线、类似 ChatGPT 的聊天机器人。由 Llama 2 提供支持。100% 隐私,没有任何数据离开您的设备。新增:Code Llama 支持!

getumbrel
⭐ 10,990 TypeScript 👤 getumbrel Organization 🕐 已更新 2024-04-23 📅 创建时间 2023-07-22
5
QwenAudio/SenseVoice

开源SenseVoiceSmall模型,支持普通话、粤语、英语、日语和韩语的自动语音识别、语言识别、情感识别和音频事件检测。

QwenAudio
⭐ 9,797 C 👤 QwenAudio Organization 🕐 已更新 2026-09-30 📅 创建时间 2024-07-03
6
xorbitsai/inference

面向语言、视觉、嵌入、重排序、图像、音频和视频模型的开源推理平台。支持通过多个推理引擎部署在异构硬件上,覆盖从笔记本电脑到分布式集群的各种环境。通过兼容 OpenAI 的 API 提供模型服务。

xorbitsai
⭐ 9,667 Python 👤 xorbitsai Organization 🕐 已更新 2026-11-21 📅 创建时间 2023-06-14
7
a-ghorbani/pocketpal-ai

一款将语言模型直接带到您手机的应用。

a-ghorbani
⭐ 9,644 TypeScript 👤 a-ghorbani User 🕐 已更新 2026-11-19 📅 创建时间 2024-08-25
8
Osmantic/ODS

ODS V3 预发布:在 V3 正式推出前进行公开测试和改进。将您的 PC、Mac 或 Linux 设备变成私有 AI 服务器。

Osmantic
⭐ 7,882 Python 👤 Osmantic Organization 🕐 已更新 2026-11-19 📅 创建时间 2026-02-09
9
ARahim3/DigUp

根据文件内容搜索你的电脑:照片、PDF、文档、录音、视频和代码。可在 Mac、Windows 和 Linux 本地运行,基于 Google DeepMind 的 EmbeddingGemma 2 构建。

ARahim3
⭐ 6,484 Swift 👤 ARahim3 User 🕐 已更新 2026-10-26 📅 创建时间 2026-10-08
10
nat/openplayground

可在笔记本上运行的大型语言模型游乐场

nat
⭐ 6,342 TypeScript 👤 nat User 🕐 已更新 2026-02-06 📅 创建时间 2023-02-26
11
defog-ai/sqlcoder

用于将自然语言问题转换为 SQL 查询的 SoTA LLM

defog-ai
⭐ 3,971 Jupyter Notebook 👤 defog-ai Organization 🕐 已更新 2024-05-23 📅 创建时间 2023-08-17
12
SciSharp/LLamaSharp

一个在本地设备上高效运行 LLM (🦙LLaMA/LLaVA) 的 C#/.NET 库。

SciSharp
⭐ 3,826 C# 👤 SciSharp Organization 🕐 已更新 2026-11-20 📅 创建时间 2023-05-09
13
AtomicBot-ai/atomic-agent

Atomic Agent 是一款本地优先的 AI 智能体。通过 llama.cpp 在您自己的机器上运行开放权重模型。

AtomicBot-ai
⭐ 3,589 TypeScript 👤 AtomicBot-ai Organization 🕐 已更新 2026-11-21 📅 创建时间 2026-04-21
14
nicedreamzapp/claude-code-local

Claude Code 的使用额度用完了?用本地模型继续免费离线使用:Qwen 3.8、Gemma 4,以及 Qwen 4 发布当天即可使用。在搭载 Apple 芯片的 Mac(MLX)、Linux 和 Windows(llama.cpp)上运行,无需 API 密钥。你的代码始终留在本地。

nicedreamzapp
⭐ 3,525 Python 👤 nicedreamzapp User 🕐 已更新 2026-11-21 📅 创建时间 2026-03-26
15
off-grid-ai/OGAM

离线人工智能的“瑞士军刀”。在您的手机或 Mac 上进行聊天、视觉识别、语音交互和图像生成——支持 GGUF 大语言模型、视觉模型、Whisper 语音转文字、Stable Diffusion、工具调用以及局域网服务器。可在您的 CPU、GPU 或 NPU 上运行。无需账户,无需 API 密钥,数据绝不出设备。

off-grid-ai
⭐ 3,406 TypeScript 👤 off-grid-ai Organization 🕐 已更新 2026-11-21 📅 创建时间 2026-01-29
16
SharpAI/DeepCamera

开源 AI 摄像机技术平台,AI NVR 与 CCTV 监控。使用 Qwen、DeepSeek、SmolVLM、LLaVA、YOLO26 进行本地 VLM 视频分析。LLM 驱动的代理安全摄像机代理 — 通过 Telegram、Discord 或 Slack 监视、理解、记忆并保护您的家。可插拔 AI 技能。支持 OpenAI、Google、Anthropic 或本地 AI。在 Mac Mini 与 AI PC 上运行。

SharpAI
⭐ 3,144 JavaScript 👤 SharpAI Organization 🕐 已更新 2026-09-17 📅 创建时间 2019-03-05
17
Luce-Org/lucebox

适用于异构硬件和消费级 GPU 的 Lucebox 推理引擎

Luce-Org
⭐ 3,024 C++ 👤 Luce-Org Organization 🕐 已更新 2026-11-21 📅 创建时间 2026-04-03
18
FrigadeHQ/yogurt

保存在你电脑上的私密 AI 会议记录。无需会议机器人。适用于 Mac、Windows 和 Linux 的免费开源软件。Granola、Otter 和 Fireflies 的替代方案。

FrigadeHQ
⭐ 2,828 TypeScript 👤 FrigadeHQ Organization 🕐 已更新 2026-11-21 📅 创建时间 2026-11-10
19
Mobile-Artificial-Intelligence/maid

Maid 是一个免费且开源的应用程序,用于本地与 llama.cpp 模型互动,并与 Anthropic、DeepSeek、Ollama、Mistral 以及 OpenAI 模型进行远程交互。

Mobile-Artificial-Intelligence
⭐ 2,785 TypeScript 👤 Mobile-Artificial-Intelligence Organization 🕐 已更新 2026-10-29 📅 创建时间 2023-10-17
20
antoinezambelli/forge

一个用于自托管 LLM 工具调用和多步代理工作流的 Python 框架

antoinezambelli
⭐ 2,268 Python 👤 antoinezambelli User 🕐 已更新 2026-11-20 📅 创建时间 2026-02-16
21
withcatai/node-llama-cpp

使用 llama.cpp 的 Node.js 绑定在本地机器上运行 AI 模型。在生成级别强制模型输出遵循 JSON 架构。

withcatai
⭐ 2,207 TypeScript 👤 withcatai Organization 🕐 已更新 2026-11-18 📅 创建时间 2023-08-12
22
XiongjieDai/GPU-Benchmarks-on-LLM-Inference

用于大型语言模型推理的多个NVIDIA GPU或Apple Silicon?

XiongjieDai
⭐ 1,862 Jupyter Notebook 👤 XiongjieDai User 🕐 已更新 2024-05-13 📅 创建时间 2023-07-19
23
ggml-org/Llama-macOS

您的LLM的舒适之家。

ggml-org
⭐ 1,852 Swift 👤 ggml-org Organization 🕐 已更新 2026-11-17 📅 创建时间 2025-06-30
24
Roy3838/Observer

为你监控一切的微型智能体编排器。完全在本地运行。开源。

Roy3838
⭐ 1,814 TypeScript 👤 Roy3838 User 🕐 已更新 2026-11-20 📅 创建时间 2025-02-05
25
microsoft/edgeai-for-beginners

本课程旨在指导初学者进入激动人心的边缘人工智能世界,涵盖基本概念、流行模型、推理技术、设备特定应用、模型优化以及智能边缘人工智能代理的开发。

microsoft
⭐ 1,784 Jupyter Notebook 👤 microsoft Organization 🕐 已更新 2026-11-02 📅 创建时间 2025-06-27
26
StartLuxLabs/StartLux-Decision

参数规模从 0.8B 到 27B 的开放式决策模型:一次推理即可为每个选项给出经过校准的概率,仅在不确定时提供简短思考。适用于 vLLM、llama.cpp 和 MLX 的引擎。

StartLuxLabs
⭐ 1,780 Python 👤 StartLuxLabs Organization 🕐 已更新 2026-10-23 📅 创建时间 2026-09-29
27
undreamai/LLMUnity

使用 LLM 在 Unity 中创建角色!

undreamai
⭐ 1,740 C# 👤 undreamai Organization 🕐 已更新 2026-04-29 📅 创建时间 2023-12-27
28
thetahealth/mirobody

用数据映照你的身体。统一标准,汇集所有来源,呈现完整的你:一份由实验室报告、可穿戴设备数据和基因信息构建的自托管健康档案,每个数字都可追溯至其来源,并内置 MCP 服务器。使用 Docker 和一个 LLM 密钥即可运行,也可以通过 llama.cpp 将所有模型保留在本地。

thetahealth
⭐ 1,645 Python 👤 thetahealth Organization 🕐 已更新 2026-11-20 📅 创建时间 2025-11-29
29
QwenAudio/Fun-ASR

Fun-ASR 语音识别模型,为 Fun-ASR-Nano 提供原生 Hugging Face Transformers 支持,并提供独立的 FunASR、vLLM 和 llama.cpp 部署路径。

QwenAudio
⭐ 1,614 C 👤 QwenAudio Organization 🕐 已更新 2026-11-20 📅 创建时间 2025-12-15
30
ollaya-dev/ollaya

兼容 Jev 的开放决策模型 API 服务器。面向决策模型的 Ollama:可在本地拉取并运行 29 个模型系列(Laya、pplx-decider、Clef、Winnow、coba……),也可通过 /v1/systemone 自托管。TypeSafe SDK 无需任何改动即可使用:设置基础 URL 并选择一个开放模型。提供 CLI、桌面应用、Docker、MCP 服务器和公开基准测试。

ollaya-dev
⭐ 1,473 Rust 👤 ollaya-dev Organization 🕐 已更新 2026-11-21 📅 创建时间 2026-09-23
31
synchopate/llama-modchip

零 GPU、纯 CPU 推理,支持 30B–284B MoE 模型(Qwen3.8 176.5B 已在 28.26/48.35 GiB 的 Cgroup v2 冷缓存环境中通过认证、DeepSeek-V4 284B、Nemotron-30B)+ RouteCrack 2.0。

synchopate
⭐ 1,398 Python 👤 synchopate User 🕐 已更新 2026-11-21 📅 创建时间 2026-10-29
32
gotzmann/llama.go

llama.go 就像纯 Golang 的 llama.cpp!

gotzmann
⭐ 1,396 Go 👤 gotzmann User 🕐 已更新 2024-09-20 📅 创建时间 2023-03-19
33
ciddwd/overlay-translator

无需 ROOT 的开源 Android 屏幕实时翻译工具,适合游戏、视觉小说和漫画。支持端侧与云端 OCR、离线 LLM、多种翻译服务和文字朗读(TTS),译文可直接显示在画面上。

ciddwd
⭐ 1,369 Kotlin 👤 ciddwd User 🕐 已更新 2026-11-16 📅 创建时间 2026-06-22
34
Soulmate-Halo/heterogeneous-gpu-pd-lab

使用稠密算力卡对稀疏大显存主机进行加速,主机包括 AI Max+ 395、M3 512G、DGX Spark 等。

Soulmate-Halo
⭐ 1,288 C++ 👤 Soulmate-Halo User 🕐 已更新 2026-11-10 📅 创建时间 2026-09-01
35
wici-ai/inferssd

通过从 SSD 流式加载 MoE 专家,运行所需内存超过 RAM 或 VRAM 容量的模型。基于 llama.cpp 构建。

wici-ai
⭐ 1,277 C++ 👤 wici-ai Organization 🕐 已更新 2026-11-20 📅 创建时间 2026-10-22
36
OpenBuddy/OpenBuddy

面向所有人的开放式多语言聊天机器人

OpenBuddy
⭐ 1,274 👤 OpenBuddy Organization 🕐 已更新 2025-06-08 📅 创建时间 2023-04-26
37
StayLameBro/backburner

你的 iPhone 助力 Mac 运行 270 亿参数模型:通过 USB-C 线缆更快读取提示词,并支持更长上下文

StayLameBro
⭐ 1,195 Python 👤 StayLameBro User 🕐 已更新 2026-11-07 📅 创建时间 2026-10-01
38
FuJacob/cotabby

Cotabby 是适用于整个 Mac 的本地 AI 自动补全工具。开源。设备端。随处输入。

FuJacob
⭐ 1,126 Swift 👤 FuJacob User 🕐 已更新 2026-10-29 📅 创建时间 2026-04-04
39
hyperionaidev/smolmaxxing

尽可能在最小的设备上运行不同大语言模型的能力最大化

hyperionaidev
⭐ 1,079 C 👤 hyperionaidev Organization 🕐 已更新 2026-11-19 📅 创建时间 2026-11-04
40
docker/compose-for-agents

使用 Docker Compose 构建和运行 AI 代理。一系列现成的示例,用于编排开源 LLM、工具和代理运行时。

docker
⭐ 1,075 TypeScript 👤 docker Organization 🕐 已更新 2026-10-23 📅 创建时间 2025-05-09
41
mybigday/llama.rn

llama.cpp 的 React Native 绑定

mybigday
⭐ 1,074 C 👤 mybigday Organization 🕐 已更新 2026-11-21 📅 创建时间 2023-08-02
42
Helldez/BigMoeOnEdge

运行比内存容量更大的 MoE 模型。在手机、笔记本电脑或边缘设备上运行前沿级 MoE。无损,基于原版 llama.cpp。自适应流式优化器。支持任何硬件、任何操作系统、任何模型、任何量化方式,并通过本地兼容 OpenAI 的服务器提供服务。

Helldez
⭐ 1,066 C++ 👤 Helldez User 🕐 已更新 2026-11-21 📅 创建时间 2026-07-10
43
intel/AI-Playground

专为由 Intel® Arc™ GPU 驱动的 PC 设计的 AI PC 启动应用,可用于 AI 图像创建、图像风格化和聊天机器人。

intel
⭐ 1,043 TypeScript 👤 intel Organization 🕐 已更新 2026-10-30 📅 创建时间 2024-07-10
45
kennss/SiliconScope

无需sudo的Apple Silicon系统监视器(原生SwiftUI图形界面),支持ANE/媒体引擎/内存带宽追踪

kennss
⭐ 1,026 Swift 👤 kennss User 🕐 已更新 2026-11-20 📅 创建时间 2026-06-08
46
sgaofen/humanizer-local-model

重写 AI 草稿,让文字读起来像是人写的——本地运行,保留事实

sgaofen
⭐ 1,010 Python 👤 sgaofen User 🕐 已更新 2026-10-19 📅 创建时间 2026-09-11
47
OleksandrChekhovskyi/hax

一个用 C 编写的极简、终端原生编码代理。

OleksandrChekhovskyi
⭐ 1,006 C 👤 OleksandrChekhovskyi User 🕐 已更新 2026-11-13 📅 创建时间 2026-04-24
48
huggingface/AnyLanguageModel

Apple 的 Foundation Models 框架的 API 兼容、即插即用替代品,支持自定义语言模型提供商。

huggingface
⭐ 990 Swift 👤 huggingface Organization 🕐 已更新 2026-11-20 📅 创建时间 2025-10-05
49
feder-cr/jev

jevos:Jev 和 Microsoft-Decision-1 的开源替代方案。在笔记本电脑的 CPU 上进行是/否决策、选择和评分,并提供概率。

feder-cr
⭐ 970 C++ 👤 feder-cr User 🕐 已更新 2026-10-18 📅 创建时间 2024-08-15
50
alvarobartt/hf-mem

一个用于估算 Hugging Face 模型推理内存需求的命令行工具,使用 Python 编写。

alvarobartt
⭐ 956 Python 👤 alvarobartt User 🕐 已更新 2026-11-20 📅 创建时间 2025-12-22

常见问题解答

1

GitHub 上最受欢迎的 #llama-cpp 仓库是什么?

GitHub 上排名第一的开源 #llama-cpp 项目是 QwenLM/Qwen3,拥有 27,753 个 Star。Qwen3是阿里云Qwen团队开发的语言大模型系列。

2

#llama-cpp 仓库中最常使用的编程语言有哪些?

在 GitHub 上排名靠前的 #llama-cpp 项目中,最常见的编程语言是 Python, TypeScript, C++, Swift。

3

#llama-cpp 仓库的排名是如何计算的?

我们跟踪了 69 个标记为 #llama-cpp 且拥有 500+ 个 Star 的活跃开源仓库,共计获得 212,421 个 Star,平均每个仓库拥有 3,078 个 Star。排名每日根据 GitHub API 更新。