Git Stars Git Stars

#gguf 仓库

探索 49 个标记为 #gguf 的活跃开源 GitHub 仓库,它们累计获得 165,186 个 Star(平均每个项目 3,371 个)。该主题的领先项目是 AlexsJones/llmfit,拥有 39,174 个 Star。

49
仓库总数
165,186
总星标数
3,371
平均每个仓库星标数
1
AlexsJones/llmfit

数百个模型和提供商。只需一条命令即可找到在您的硬件上运行的内容。

AlexsJones
⭐ 39,174 Rust 👤 AlexsJones User 🕐 已更新 2026-11-18 📅 创建时间 2026-02-15
2
mozilla-ai/llamafile

使用单个文件分发和运行 LLM。

mozilla-ai
⭐ 26,681 C++ 👤 mozilla-ai Organization 🕐 已更新 2026-11-09 📅 创建时间 2023-09-10
3
MakazhanAlpamys/Soup

从一个YAML微调LLM。层流式传输在4 GB笔记本GPU上训练8B模型。

MakazhanAlpamys
⭐ 10,703 Python 👤 MakazhanAlpamys User 🕐 已更新 2026-11-21 📅 创建时间 2026-02-20
4
karminski/one-small-step

这是一个简单的技术科普教程项目,主要聚焦于解释一些有趣的,前沿的技术概念和原理。每篇文章都力求在 5 分钟内阅读完成。

karminski
⭐ 7,006 Python 👤 karminski User 🕐 已更新 2026-03-08 📅 创建时间 2025-01-16
5
qybaihe/bla

🛡️ BLA(bla-agents / Blind LLM Agents,盲化 LLM 智能体)——开源的蓝队防御 MCP 服务器和 CLI,可保护 JS/TS、Electron ASAR、WASM、Python、原生二进制文件、SQLite、GGUF/Safetensors 和 Android DEX,抵御 AI 逆向工程智能体(REA)。

qybaihe
⭐ 6,366 TypeScript 👤 qybaihe User 🕐 已更新 2026-11-21 📅 创建时间 2026-10-25
6
Michael-A-Kuykendall/shimmy

⚡ 纯 Rust 编写的 WebGPU 推理引擎 — 兼容 OpenAI API,原生支持 GGUF,可在任何 GPU 上运行。无需 Python。无需 llama.cpp。单一二进制文件。

Michael-A-Kuykendall
⭐ 6,020 Rust 👤 Michael-A-Kuykendall User 🕐 已更新 2026-11-12 📅 创建时间 2025-08-28
7
ngxson/smolvlm-realtime-webcam

使用SmolVLM和llama.cpp服务器的实时网络摄像头演示

ngxson
⭐ 5,555 HTML 👤 ngxson User 🕐 已更新 2025-05-12 📅 创建时间 2025-05-12
8
city96/ComfyUI-GGUF

ComfyUI原生模型的GGUF量化支持

city96
⭐ 4,284 Python 👤 city96 User 🕐 已更新 2026-01-12 📅 创建时间 2024-08-15
9
AtomicBot-ai/atomic-agent

Atomic Agent 是一款本地优先的 AI 智能体。通过 llama.cpp 在您自己的机器上运行开放权重模型。

AtomicBot-ai
⭐ 3,589 TypeScript 👤 AtomicBot-ai Organization 🕐 已更新 2026-11-21 📅 创建时间 2026-04-21
10
off-grid-ai/OGAM

离线人工智能的“瑞士军刀”。在您的手机或 Mac 上进行聊天、视觉识别、语音交互和图像生成——支持 GGUF 大语言模型、视觉模型、Whisper 语音转文字、Stable Diffusion、工具调用以及局域网服务器。可在您的 CPU、GPU 或 NPU 上运行。无需账户,无需 API 密钥,数据绝不出设备。

off-grid-ai
⭐ 3,406 TypeScript 👤 off-grid-ai Organization 🕐 已更新 2026-11-21 📅 创建时间 2026-01-29
11
mw00/project-maya

在您自己的 GPU 上运行 GLM-5.3(744B)、DeepSeek-V4.1-Flash(748B)、MiniMax-M3.1-Flash(428B)、GLM-5.3-Flash(321B)和 Hy4-Flash(220B)——最低仅需 8 GB 显存,支持 NVIDIA 和 AMD,统一仪表板,并提供兼容 OpenAI 和 Anthropic 的 API。

mw00
⭐ 3,140 C++ 👤 mw00 User 🕐 已更新 2026-11-21 📅 创建时间 2026-10-06
12
Mobile-Artificial-Intelligence/maid

Maid 是一个免费且开源的应用程序,用于本地与 llama.cpp 模型互动,并与 Anthropic、DeepSeek、Ollama、Mistral 以及 OpenAI 模型进行远程交互。

Mobile-Artificial-Intelligence
⭐ 2,785 TypeScript 👤 Mobile-Artificial-Intelligence Organization 🕐 已更新 2026-10-29 📅 创建时间 2023-10-17
13
datawhalechina/handy-ollama

动手学Ollama,CPU玩转大模型部署,在线阅读地址:https://datawhalechina.github.io/handy-ollama/

datawhalechina
⭐ 2,560 Jupyter Notebook 👤 datawhalechina Organization 🕐 已更新 2026-01-15 📅 创建时间 2024-07-30
14
ddalcu/mlx-serve

适用于 Apple Silicon 的原生大语言模型推理服务器。兼容 OpenAI 和 Anthropic API。无需 Python。采用 Zig 后端和 Swift 前端的 macOS 应用,支持聊天、音乐、语音和视频生成。

ddalcu
⭐ 2,528 Zig 👤 ddalcu User 🕐 已更新 2026-11-21 📅 创建时间 2026-02-17
15
heshengtao/comfyui_LLM_party

ComfyUI中的LLM Agent框架包含MCP服务器、Omost、GPT-sovits、ChatTTS、GOT-OCR2.0和FLUX prompt节点,可访问Feishu、discord,并适应所有具有类似openai / aisuite接口的LLM,例如o1、ollama、gemini、grok、qwen、GLM、deepseek、kimi、doubao。适配了llama-3.3 Janus-Pro、Linkage GraphRAG等本地LLM、VLM、gguf。

heshengtao
⭐ 2,393 Python 👤 heshengtao User 🕐 已更新 2026-07-29 📅 创建时间 2024-04-13
16
withcatai/node-llama-cpp

使用 llama.cpp 的 Node.js 绑定在本地机器上运行 AI 模型。在生成级别强制模型输出遵循 JSON 架构。

withcatai
⭐ 2,207 TypeScript 👤 withcatai Organization 🕐 已更新 2026-11-18 📅 创建时间 2023-08-12
17
handy-computer/transcribe.cpp

支持 16 种以上模型系列的 ggml 语音转文字推理

handy-computer
⭐ 2,194 C++ 👤 handy-computer Organization 🕐 已更新 2026-11-20 📅 创建时间 2026-04-07
18
AtomicBot-ai/Atomic-Chat

面向智能体的本地 AI 应用程序和推理引擎。在您的计算机上本地运行开源权重 LLM — 私密、100% 离线。加入我们的 Discord:https://discord.com/invite/8wGSsvmg4V

AtomicBot-ai
⭐ 2,040 TypeScript 👤 AtomicBot-ai Organization 🕐 已更新 2026-11-19 📅 创建时间 2026-03-31
19
sammcj/gollama

管理您的 Ollama 模型

sammcj
⭐ 1,849 Go 👤 sammcj User 🕐 已更新 2026-10-21 📅 创建时间 2024-05-30
20
StartLuxLabs/StartLux-Decision

参数规模从 0.8B 到 27B 的开放式决策模型:一次推理即可为每个选项给出经过校准的概率,仅在不确定时提供简短思考。适用于 vLLM、llama.cpp 和 MLX 的引擎。

StartLuxLabs
⭐ 1,780 Python 👤 StartLuxLabs Organization 🕐 已更新 2026-10-23 📅 创建时间 2026-09-29
21
intel/auto-round

训练后量化的效率,量化感知训练的精度

intel
⭐ 1,706 Python 👤 intel Organization 🕐 已更新 2026-11-21 📅 创建时间 2024-01-04
22
nobodywho-ooo/nobodywho

NobodyWho 是一个推理引擎,允许你在任何设备上本地高效地运行 LLM。

nobodywho-ooo
⭐ 1,699 Rust 👤 nobodywho-ooo Organization 🕐 已更新 2026-11-19 📅 创建时间 2024-09-03
23
LlamaEdge/LlamaEdge

在本地或边缘运行定制和微调LLM的最简单快捷的方法

LlamaEdge
⭐ 1,665 Rust 👤 LlamaEdge Organization 🕐 已更新 2026-02-08 📅 创建时间 2023-10-09
24
QwenAudio/Fun-ASR

Fun-ASR 语音识别模型,为 Fun-ASR-Nano 提供原生 Hugging Face Transformers 支持,并提供独立的 FunASR、vLLM 和 llama.cpp 部署路径。

QwenAudio
⭐ 1,614 C 👤 QwenAudio Organization 🕐 已更新 2026-11-20 📅 创建时间 2025-12-15
25
kitops-ml/kitops

CNCF 的一个开源 DevOps 工具,用于将 AI/ML 模型、数据集、代码和配置打包并版本化为 OCI 构件。

kitops-ml
⭐ 1,451 Go 👤 kitops-ml Organization 🕐 已更新 2026-11-20 📅 创建时间 2024-02-02
26
edwko/OuteTTS

OuteTTS模型的接口。

edwko
⭐ 1,440 Python 👤 edwko User 🕐 已更新 2026-03-23 📅 创建时间 2024-11-04
27
synchopate/llama-modchip

零 GPU、纯 CPU 推理,支持 30B–284B MoE 模型(Qwen3.8 176.5B 已在 28.26/48.35 GiB 的 Cgroup v2 冷缓存环境中通过认证、DeepSeek-V4 284B、Nemotron-30B)+ RouteCrack 2.0。

synchopate
⭐ 1,398 Python 👤 synchopate User 🕐 已更新 2026-11-21 📅 创建时间 2026-10-29
28
ciddwd/overlay-translator

无需 ROOT 的开源 Android 屏幕实时翻译工具,适合游戏、视觉小说和漫画。支持端侧与云端 OCR、离线 LLM、多种翻译服务和文字朗读(TTS),译文可直接显示在画面上。

ciddwd
⭐ 1,369 Kotlin 👤 ciddwd User 🕐 已更新 2026-11-16 📅 创建时间 2026-06-22
29
simplexai-labs/PolyStrata

在自己的 PC 上运行大型 AI 模型:使用 Strata 引擎运行 Qwen3.8-Flash-Next,使用专为 PolyStrata 打造的第二款引擎运行 GLM 5.3 Flash、DeepSeek V4 Flash、LFM2.5、Qwen3.6、Ornith 1.5、Gemma 4、Tiel Coder 和 MiniCPM-V。支持 Windows 和 Linux 一键安装,并在 localhost 上提供 OpenAI/Anthropic API。

simplexai-labs
⭐ 1,324 C++ 👤 simplexai-labs Organization 🕐 已更新 2026-11-18 📅 创建时间 2026-10-06
30
wici-ai/inferssd

通过从 SSD 流式加载 MoE 专家,运行所需内存超过 RAM 或 VRAM 容量的模型。基于 llama.cpp 构建。

wici-ai
⭐ 1,277 C++ 👤 wici-ai Organization 🕐 已更新 2026-11-20 📅 创建时间 2026-10-22
31
Helldez/BigMoeOnEdge

运行比内存容量更大的 MoE 模型。在手机、笔记本电脑或边缘设备上运行前沿级 MoE。无损,基于原版 llama.cpp。自适应流式优化器。支持任何硬件、任何操作系统、任何模型、任何量化方式,并通过本地兼容 OpenAI 的服务器提供服务。

Helldez
⭐ 1,066 C++ 👤 Helldez User 🕐 已更新 2026-11-21 📅 创建时间 2026-07-10
32
jegly/Box

当今 Android 平台上最先进、完全离线的客户端 AI 套件。

jegly
⭐ 1,035 Kotlin 👤 jegly User 🕐 已更新 2026-11-21 📅 创建时间 2026-04-17
33
sgaofen/humanizer-local-model

重写 AI 草稿,让文字读起来像是人写的——本地运行,保留事实

sgaofen
⭐ 1,010 Python 👤 sgaofen User 🕐 已更新 2026-10-19 📅 创建时间 2026-09-11
34
feder-cr/jev

jevos:Jev 和 Microsoft-Decision-1 的开源替代方案。在笔记本电脑的 CPU 上进行是/否决策、选择和评分,并提供概率。

feder-cr
⭐ 970 C++ 👤 feder-cr User 🕐 已更新 2026-10-18 📅 创建时间 2024-08-15
35
alvarobartt/hf-mem

一个用于估算 Hugging Face 模型推理内存需求的命令行工具,使用 Python 编写。

alvarobartt
⭐ 956 Python 👤 alvarobartt User 🕐 已更新 2026-11-20 📅 创建时间 2025-12-22
36
Valen-Team/Valen

开放式多模态决策模型,参数规模从 0.8B 到 27B,支持文本、图像和视频。对自选候选项进行概率判断,并用边界框定位,而非生成文本。提供免费 API、ONNX、GGUF、vLLM 和 SGLang;附带微调代码。

Valen-Team
⭐ 932 Python 👤 Valen-Team Organization 🕐 已更新 2026-11-15 📅 创建时间 2026-09-23
37
eastriverlee/LLM.swift

LLM.swift 是一个简单易读的库,可让您轻松地在 macOS、iOS、watchOS、tvOS 和 visionOS 上本地与大型语言模型进行交互。

eastriverlee
⭐ 883 Swift 👤 eastriverlee User 🕐 已更新 2026-07-19 📅 创建时间 2023-12-02
38
mukel/llama3.java

纯Java中的Llama 3+推理

mukel
⭐ 818 Java 👤 mukel User 🕐 已更新 2026-04-24 📅 创建时间 2024-04-25
39
SimpleBerry/LLaMA-O1

大型推理模型

SimpleBerry
⭐ 806 Python 👤 SimpleBerry Organization 🕐 已更新 2024-12-03 📅 创建时间 2024-10-10
40
prabanta-dev/janas

在一台 32 GB 笔记本电脑上运行 Qwen3-Next-80B(48 GB),速度可达 37 tok/s;不使用草稿解码时为 24 tok/s,而 llama.cpp 为 2.8 tok/s;读取速度为 62 tok/s 对 16 tok/s。在 Q4_K_M 下对比的全部 13 个模型中,速度都快于 llama.cpp。运行比内存更大的 LLM,纯 C 实现,支持 CPU 或 GPU。

prabanta-dev
⭐ 738 C 👤 prabanta-dev Organization 🕐 已更新 2026-11-20 📅 创建时间 2026-09-20
41
zhongkaifu/TensorSharp

面向 GGUF 模型的原生 .NET 大语言模型推理引擎和智能体运行时。TensorSharp 提供控制台应用、基于 Web 的聊天机器人界面、iPhone 应用,以及兼容 Ollama/OpenAI 的 HTTP API,支持以编程方式访问。它支持 Windows、macOS、iOS 和 Linux,并具备完整的 GPU 能力。

zhongkaifu
⭐ 681 C# 👤 zhongkaifu User 🕐 已更新 2026-11-20 📅 创建时间 2026-04-03
42
hybridgroup/yzma

用你自己的智能前行——编写 Go 应用,直接集成 llama.cpp,在 Linux、macOS、Windows 和 WebAssembly 上利用硬件加速进行本地推理。

hybridgroup
⭐ 677 Go 👤 hybridgroup Organization 🕐 已更新 2026-11-19 📅 创建时间 2025-09-21
43
gokayfem/ComfyUI_VLM_nodes

用于视觉语言模型的 ComfyUI 节点:Qwen3-VL、Moondream 3、Florence-2、SmolVLM2、InternVL、Gemma 3、MiniCPM-V。此外还支持开放词汇检测、SAM2/SAM3 分割、视频时序推理、通过 llama.cpp 实现的 GGUF,以及托管的 LLM/VLM API。

gokayfem
⭐ 592 Python 👤 gokayfem User 🕐 已更新 2026-08-08 📅 创建时间 2024-01-24
44
kelindar/search

使用 llama.cpp 实现嵌入式向量搜索和语义嵌入的 Go 库

kelindar
⭐ 561 Go 👤 kelindar User 🕐 已更新 2026-09-19 📅 创建时间 2024-09-29
45
StartLuxLabs/StartLux-Prism

在 NVIDIA GPU 上对 StartLux-Decision 模型进行快速、精确推理:已发布的 GGUF 文件通过 /v1/systemone API 使用 int8 和 4 位张量核心运行,在 FP8 下延迟比 vLLM 最高降低 5.3 倍,且答案逐位一致。

StartLuxLabs
⭐ 560 Python 👤 StartLuxLabs Organization 🕐 已更新 2026-10-27 📅 创建时间 2026-10-13
46
Indras-Mirror/Xolotl

Xolotl:在一台游戏 PC(RTX 4090 + 110 GB RAM)上,将完整的 552B 参数 DeepSeek-V4.1-Flash 作为本地编程代理运行:代理模式约 33 tok/s,快速模式约 41 tok/s,支持 512K 上下文。此外还有 Inkling-2-Mini(Thinking Machines,自有引擎 + MTP 草拟器)、GLM-5.3-Flash、Qwen3.8、LFM3-Omni。MoE 专家分层部署于 VRAM、RAM 和 NVMe 之间(Xolotl Direct)。支持 OpenAI + Anthropic API。

Indras-Mirror
⭐ 549 C++ 👤 Indras-Mirror User 🕐 已更新 2026-11-21 📅 创建时间 2026-10-06
47
dllm-labs/mojo-dllm

使用 Mojo 编写的扩散语言模型(LLaDA、Dream)本地推理

dllm-labs
⭐ 546 Python 👤 dllm-labs Organization 🕐 已更新 2026-11-20 📅 创建时间 2026-10-04
48
nyosegawa/speech.cpp

基于 ggml 的 C++ 语音对话解决方案,支持语音合成、语音识别和语音活动检测:Qwen3-TTS、Irodori-TTS、Qwen3-ASR、ReazonSpeech、parakeet 和 Silero VAD,可运行于 Metal、Vulkan 和 CPU,并提供兼容 OpenAI 的服务器及实时转录功能。

nyosegawa
⭐ 510 C++ 👤 nyosegawa User 🕐 已更新 2026-11-20 📅 创建时间 2026-09-29
49
AudarAI/Audar-ASR-V1

以阿拉伯语为先的生成式语音识别 — Audar-ASR-V1 (Flash + Turbo)。在开放式通用阿拉伯语 ASR 排行榜上排名第一。模型卡、基准测试与推理。

AudarAI
⭐ 503 Python 👤 AudarAI Organization 🕐 已更新 2026-08-22 📅 创建时间 2026-07-06
50
withcatai/catai

在本地运行 AI ✨ 助手!使用适用于 Node.js 的简单 API 🚀

withcatai
⭐ 500 TypeScript 👤 withcatai Organization 🕐 已更新 2025-11-16 📅 创建时间 2023-03-25

常见问题解答

1

GitHub 上最受欢迎的 #gguf 仓库是什么?

GitHub 上排名第一的开源 #gguf 项目是 AlexsJones/llmfit,拥有 39,174 个 Star。数百个模型和提供商。只需一条命令即可找到在您的硬件上运行的内容。

2

#gguf 仓库中最常使用的编程语言有哪些?

在 GitHub 上排名靠前的 #gguf 项目中,最常见的编程语言是 Python, C++, TypeScript, Rust。

3

#gguf 仓库的排名是如何计算的?

我们跟踪了 49 个标记为 #gguf 且拥有 500+ 个 Star 的活跃开源仓库,共计获得 165,186 个 Star,平均每个仓库拥有 3,371 个 Star。排名每日根据 GitHub API 更新。