#local-llm 仓库
探索 122 个标记为 #local-llm 的活跃开源 GitHub 仓库,它们累计获得 383,928 个 Star(平均每个项目 3,146 个)。该主题的领先项目是 HKUDS/nanobot,拥有 50,249 个 Star。
共 122 个仓库
~95% 在 SimpleQA 上(例如 Qwen3.6-27B 在 3090 上)。支持所有本地和云端 LLM(llama.cpp、Ollama、Google 等)。10+ 搜索引擎 - arXiv、PubMed、您的私人文档。一切本地且加密。
FreeAskInternet 是一个完全免费、私有且在本地运行的搜索聚合器和答案生成器,使用多个大型语言模型,无需 GPU。用户可以提出问题,系统将进行多引擎搜索,并将搜索结果与大型语言模型结合,根据搜索结果生成答案。全部免费使用。
开源语音 AI 平台。Vapi 和 Retell 的自托管替代方案。支持本地部署,在语音转语音 (Speech-to-Speech) 或 LLM/STT/TTS 场景下支持 BYOK,配备可视化工作流构建器,原生支持 MCP 和电话集成。
本地优先的医疗 AI:在您掌控的硬件上进行临床命名实体识别(NER)和符合 HIPAA 要求的个人身份信息(PII)去标识化。提供 2,200 多个医疗模型、支持 35 种语言的模型驱动型 PII 处理,以及 Python、MLX、Android 和浏览器运行环境。Apache-2.0 许可的 SDK。
适用于您桌面的一体化本地 AI 工作室:聊天、图像和视频生成以及编程代理,尽在一款免费开源应用中。支持 Windows 和 Linux。无需 Docker,无需终端,无需云端。
Rapid-MLX 是一个开源(Apache 2.0)的 LLM 推理服务器,适用于 Apple Silicon,兼容 OpenAI 和 Anthropic,基于 MLX 构建,专注于为编程代理提供可靠的工具调用功能。在使用相同模型权重的情况下,速度最高可达 Apple 的 MLX(mlx-lm)的 4 倍。
Claude Code 的使用额度用完了?用本地模型继续免费离线使用:Qwen 3.8、Gemma 4,以及 Qwen 4 发布当天即可使用。在搭载 Apple 芯片的 Mac(MLX)、Linux 和 Windows(llama.cpp)上运行,无需 API 密钥。你的代码始终留在本地。
Linger 是一款完全在个人电脑上运行的开源个人智能体。我们致力于通过高效的模型与运行框架协同设计,将强大的本地 AI 带给日常电脑用户,打破大型科技公司对 AI 的掌控,让每个人都能运行属于自己的 AI。
在您自己的 GPU 上运行 GLM-5.3(744B)、DeepSeek-V4.1-Flash(748B)、MiniMax-M3.1-Flash(428B)、GLM-5.3-Flash(321B)和 Hy4-Flash(220B)——最低仅需 8 GB 显存,支持 NVIDIA 和 AMD,统一仪表板,并提供兼容 OpenAI 和 Anthropic 的 API。
在你实际拥有的 GPU 上快速部署大型 Qwen 模型。使用 vLLM 在单张 24 GB 显卡上运行 Qwen3.8-27B:单用户 127 token/秒(答案引用提示词时为 381 token/秒),64 路并发时约 1,035 token/秒,支持 150k–262k 上下文。vLLM 补丁、重新量化流程与基准测试。
在 Mac 上运行 Qwen 3.8 Flash Next、Qwen 3.8 27B 和 Ternary Bonsai 2 27B 的最快方式:在 M5 Max 上通过 OpenCode 达到 125 token/秒,并可在 16 GB Mac 上运行 27B 模型。在 Apple Silicon 上原生支持 MTP 推测解码,在任何温度下都能保持精确。兼容 OpenAI 和 Anthropic 的本地服务器。
Zotero 专业 AI 研究工具:与 PDF 对话、搜索整个文献库、文献雷达、自动驾驶。支持 30 多种大语言模型或本地模型;内置 MCP 服务器。在 iPhone 上随时与 Zotero 对话 → https://www.docsagent.app
适用于 Apple Silicon 的原生大语言模型推理服务器。兼容 OpenAI 和 Anthropic API。无需 Python。采用 Zig 后端和 Swift 前端的 macOS 应用,支持聊天、音乐、语音和视频生成。
使用本地 LLM 的 GraphRAG - 提供强大的 API 和多个应用程序,用于索引/提示调整/查询/聊天/可视化/等。这旨在成为终极的 GraphRAG/KG 本地 LLM 应用程序。
面向智能体的本地 AI 应用程序和推理引擎。在您的计算机上本地运行开源权重 LLM — 私密、100% 离线。加入我们的 Discord:https://discord.com/invite/8wGSsvmg4V
Synthadoc:一款开源的大语言模型知识编译引擎,可将原始文档转化为结构化的本地优先维基。它是传统RAG的一种透明、人类可读的替代方案,无需使用任何工具即可自行管理和自我改进。
终极零安装、可移植本地AI环境。从任何U盘或SSD直接运行高质量、无审查LLM(Gemma、Qwen、NemoMix)。完全空气隔离、跨平台(Win/Mac/Linux),并以隐私优先,带有持久聊天历史。
Capri — 免费开源的 Windows AI 桌面宠物、游戏叠加层和语音助手。为 Claude Code、Ollama、DeepSeek 和 MCP 提供可视化 GUI。可加入 Discord 通话、启动 Steam 游戏、点评游戏过程,并离线自动执行屏幕任务。
Row-Bot:一款本地优先、能真正完成工作的 AI 助手。它会记住重要信息,在你的文件、代码、设计、浏览器和应用中工作,运行工作流和智能体,并在需要你处理时通知你;遇到任何有风险的操作前都会先征求你的同意。你可以使用 ChatGPT、Claude 或 Grok 订阅方案、API 密钥或本地模型。你的数据始终保留在自己的设备上。
适用于 Apple Silicon 的高性能 OpenAI 和 Anthropic 兼容 LLM 推理服务器。原生 MLX、连续批处理、多模态模型、MCP 工具调用和 Claude Code 支持。
开源 AI 计算机搭建方案,涵盖双 GPU 台式机到 8 GPU 服务器:提供 CAD 图纸、物料清单、BIOS 设置和装机指南。选购附带 PCIe 延长线的机箱套件,或联系我们免费检查兼容性。
开源 Grok 机器人。Gawk 机器人通过 AI 模型自动化处理你的琐碎工作,并为你构建微型应用来管理结果,让你产生一种虚假的掌控感。
常见问题解答
GitHub 上最受欢迎的 #local-llm 仓库是什么?
GitHub 上排名第一的开源 #local-llm 项目是 HKUDS/nanobot,拥有 50,249 个 Star。你的轻量级开源个人智能体。
#local-llm 仓库中最常使用的编程语言有哪些?
在 GitHub 上排名靠前的 #local-llm 项目中,最常见的编程语言是 Python, TypeScript, Rust, C++。
#local-llm 仓库的排名是如何计算的?
我们跟踪了 122 个标记为 #local-llm 且拥有 500+ 个 Star 的活跃开源仓库,共计获得 383,928 个 Star,平均每个仓库拥有 3,146 个 Star。排名每日根据 GitHub API 更新。