#gguf 仓库
探索 49 个标记为 #gguf 的活跃开源 GitHub 仓库,它们累计获得 165,186 个 Star(平均每个项目 3,371 个)。该主题的领先项目是 AlexsJones/llmfit,拥有 39,174 个 Star。
共 50 个仓库
🛡️ BLA(bla-agents / Blind LLM Agents,盲化 LLM 智能体)——开源的蓝队防御 MCP 服务器和 CLI,可保护 JS/TS、Electron ASAR、WASM、Python、原生二进制文件、SQLite、GGUF/Safetensors 和 Android DEX,抵御 AI 逆向工程智能体(REA)。
⚡ 纯 Rust 编写的 WebGPU 推理引擎 — 兼容 OpenAI API,原生支持 GGUF,可在任何 GPU 上运行。无需 Python。无需 llama.cpp。单一二进制文件。
离线人工智能的“瑞士军刀”。在您的手机或 Mac 上进行聊天、视觉识别、语音交互和图像生成——支持 GGUF 大语言模型、视觉模型、Whisper 语音转文字、Stable Diffusion、工具调用以及局域网服务器。可在您的 CPU、GPU 或 NPU 上运行。无需账户,无需 API 密钥,数据绝不出设备。
在您自己的 GPU 上运行 GLM-5.3(744B)、DeepSeek-V4.1-Flash(748B)、MiniMax-M3.1-Flash(428B)、GLM-5.3-Flash(321B)和 Hy4-Flash(220B)——最低仅需 8 GB 显存,支持 NVIDIA 和 AMD,统一仪表板,并提供兼容 OpenAI 和 Anthropic 的 API。
Maid 是一个免费且开源的应用程序,用于本地与 llama.cpp 模型互动,并与 Anthropic、DeepSeek、Ollama、Mistral 以及 OpenAI 模型进行远程交互。
动手学Ollama,CPU玩转大模型部署,在线阅读地址:https://datawhalechina.github.io/handy-ollama/
适用于 Apple Silicon 的原生大语言模型推理服务器。兼容 OpenAI 和 Anthropic API。无需 Python。采用 Zig 后端和 Swift 前端的 macOS 应用,支持聊天、音乐、语音和视频生成。
ComfyUI中的LLM Agent框架包含MCP服务器、Omost、GPT-sovits、ChatTTS、GOT-OCR2.0和FLUX prompt节点,可访问Feishu、discord,并适应所有具有类似openai / aisuite接口的LLM,例如o1、ollama、gemini、grok、qwen、GLM、deepseek、kimi、doubao。适配了llama-3.3 Janus-Pro、Linkage GraphRAG等本地LLM、VLM、gguf。
面向智能体的本地 AI 应用程序和推理引擎。在您的计算机上本地运行开源权重 LLM — 私密、100% 离线。加入我们的 Discord:https://discord.com/invite/8wGSsvmg4V
参数规模从 0.8B 到 27B 的开放式决策模型:一次推理即可为每个选项给出经过校准的概率,仅在不确定时提供简短思考。适用于 vLLM、llama.cpp 和 MLX 的引擎。
Fun-ASR 语音识别模型,为 Fun-ASR-Nano 提供原生 Hugging Face Transformers 支持,并提供独立的 FunASR、vLLM 和 llama.cpp 部署路径。
零 GPU、纯 CPU 推理,支持 30B–284B MoE 模型(Qwen3.8 176.5B 已在 28.26/48.35 GiB 的 Cgroup v2 冷缓存环境中通过认证、DeepSeek-V4 284B、Nemotron-30B)+ RouteCrack 2.0。
无需 ROOT 的开源 Android 屏幕实时翻译工具,适合游戏、视觉小说和漫画。支持端侧与云端 OCR、离线 LLM、多种翻译服务和文字朗读(TTS),译文可直接显示在画面上。
在自己的 PC 上运行大型 AI 模型:使用 Strata 引擎运行 Qwen3.8-Flash-Next,使用专为 PolyStrata 打造的第二款引擎运行 GLM 5.3 Flash、DeepSeek V4 Flash、LFM2.5、Qwen3.6、Ornith 1.5、Gemma 4、Tiel Coder 和 MiniCPM-V。支持 Windows 和 Linux 一键安装,并在 localhost 上提供 OpenAI/Anthropic API。
运行比内存容量更大的 MoE 模型。在手机、笔记本电脑或边缘设备上运行前沿级 MoE。无损,基于原版 llama.cpp。自适应流式优化器。支持任何硬件、任何操作系统、任何模型、任何量化方式,并通过本地兼容 OpenAI 的服务器提供服务。
开放式多模态决策模型,参数规模从 0.8B 到 27B,支持文本、图像和视频。对自选候选项进行概率判断,并用边界框定位,而非生成文本。提供免费 API、ONNX、GGUF、vLLM 和 SGLang;附带微调代码。
LLM.swift 是一个简单易读的库,可让您轻松地在 macOS、iOS、watchOS、tvOS 和 visionOS 上本地与大型语言模型进行交互。
在一台 32 GB 笔记本电脑上运行 Qwen3-Next-80B(48 GB),速度可达 37 tok/s;不使用草稿解码时为 24 tok/s,而 llama.cpp 为 2.8 tok/s;读取速度为 62 tok/s 对 16 tok/s。在 Q4_K_M 下对比的全部 13 个模型中,速度都快于 llama.cpp。运行比内存更大的 LLM,纯 C 实现,支持 CPU 或 GPU。
面向 GGUF 模型的原生 .NET 大语言模型推理引擎和智能体运行时。TensorSharp 提供控制台应用、基于 Web 的聊天机器人界面、iPhone 应用,以及兼容 Ollama/OpenAI 的 HTTP API,支持以编程方式访问。它支持 Windows、macOS、iOS 和 Linux,并具备完整的 GPU 能力。
用你自己的智能前行——编写 Go 应用,直接集成 llama.cpp,在 Linux、macOS、Windows 和 WebAssembly 上利用硬件加速进行本地推理。
用于视觉语言模型的 ComfyUI 节点:Qwen3-VL、Moondream 3、Florence-2、SmolVLM2、InternVL、Gemma 3、MiniCPM-V。此外还支持开放词汇检测、SAM2/SAM3 分割、视频时序推理、通过 llama.cpp 实现的 GGUF,以及托管的 LLM/VLM API。
在 NVIDIA GPU 上对 StartLux-Decision 模型进行快速、精确推理:已发布的 GGUF 文件通过 /v1/systemone API 使用 int8 和 4 位张量核心运行,在 FP8 下延迟比 vLLM 最高降低 5.3 倍,且答案逐位一致。
Xolotl:在一台游戏 PC(RTX 4090 + 110 GB RAM)上,将完整的 552B 参数 DeepSeek-V4.1-Flash 作为本地编程代理运行:代理模式约 33 tok/s,快速模式约 41 tok/s,支持 512K 上下文。此外还有 Inkling-2-Mini(Thinking Machines,自有引擎 + MTP 草拟器)、GLM-5.3-Flash、Qwen3.8、LFM3-Omni。MoE 专家分层部署于 VRAM、RAM 和 NVMe 之间(Xolotl Direct)。支持 OpenAI + Anthropic API。
基于 ggml 的 C++ 语音对话解决方案,支持语音合成、语音识别和语音活动检测:Qwen3-TTS、Irodori-TTS、Qwen3-ASR、ReazonSpeech、parakeet 和 Silero VAD,可运行于 Metal、Vulkan 和 CPU,并提供兼容 OpenAI 的服务器及实时转录功能。
以阿拉伯语为先的生成式语音识别 — Audar-ASR-V1 (Flash + Turbo)。在开放式通用阿拉伯语 ASR 排行榜上排名第一。模型卡、基准测试与推理。
常见问题解答
GitHub 上最受欢迎的 #gguf 仓库是什么?
GitHub 上排名第一的开源 #gguf 项目是 AlexsJones/llmfit,拥有 39,174 个 Star。数百个模型和提供商。只需一条命令即可找到在您的硬件上运行的内容。
#gguf 仓库中最常使用的编程语言有哪些?
在 GitHub 上排名靠前的 #gguf 项目中,最常见的编程语言是 Python, C++, TypeScript, Rust。
#gguf 仓库的排名是如何计算的?
我们跟踪了 49 个标记为 #gguf 且拥有 500+ 个 Star 的活跃开源仓库,共计获得 165,186 个 Star,平均每个仓库拥有 3,371 个 Star。排名每日根据 GitHub API 更新。