#local-llm 仓库
共 122 个仓库
本地兼容 OpenAI 的文本转语音(TTS)API,使用 Chatterbox,使用户能够在任何使用 OpenAI API 的地方(如 Open WebUI、AnythingLLM 等)生成语音克隆语音。
在无法容纳 105 GB 模型的 Mac 上运行它。Qwen3.8-Flash-Next 4-bit,可从 SSD 流式加载,在配备 16–64 GB 内存的 Apple Silicon Mac 上运行。完全采用原生 Swift、MLX 和 Metal。离线运行,无需 Python。提供 CLI、Swift 库以及 Ollama/OpenAI/Anthropic API。兼容 Claude Code 和 Codex。
Swiftlet 是一个基于 Swift 和 Metal 的运行时,通过从存储中流式传输专家权重,在 Apple 设备上本地运行大型 Qwen 混合专家模型,从而使 35B 和 80B 模型能够在低内存环境下运行,包括在 iPhone 上。
自托管 AI 智能体操作系统。您的记忆、聊天记录、智能体和文件都存储在您拥有的硬件上,默认离线,云端可选。具备离线 AI 记忆 (taOSmd)、自托管多框架群聊、完整的 Web 桌面 + 应用商店,以及跨您现有消费级硬件(Orange/Raspberry Pi、Mac mini、游戏 PC)的自动集群功能。
面向企业 AI 团队成员的开源、自托管 AI 代理平台。在您自己的服务器和模型上构建、运行和治理代理:共享聊天、RAG、技能、真实浏览器、4,700+ 个 MCP 服务器、预算、审批和审计记录。ChatGPT Enterprise 和 Grok Bot 的替代方案。采用 Apache-2.0 许可,基于 Pydantic AI 构建。
适用于 iPhone、iPad 和 Mac 的本地 AI 聊天应用。可连接 Ollama、LM Studio 或任何兼容 OpenAI 的服务器,也可在设备上运行 MLX 模型。支持工具和网页搜索。
在自己的电脑上更轻松地使用 AI。免费开源的 Claude 和 ChatGPT 替代方案,可在 Mac、Windows 和 Linux 上本地运行 Gemma 和 gpt-oss 等开放权重模型。保护隐私,并支持离线使用。
Xolotl:在一台游戏 PC(RTX 4090 + 110 GB RAM)上,将完整的 552B 参数 DeepSeek-V4.1-Flash 作为本地编程代理运行:代理模式约 33 tok/s,快速模式约 41 tok/s,支持 512K 上下文。此外还有 Inkling-2-Mini(Thinking Machines,自有引擎 + MTP 草拟器)、GLM-5.3-Flash、Qwen3.8、LFM3-Omni。MoE 专家分层部署于 VRAM、RAM 和 NVMe 之间(Xolotl Direct)。支持 OpenAI + Anthropic API。
本地优先的全栈 AI 创作工作站:AI 对话、AI 漫画、漫剧创作、写作台、知识学习五大模块;支持 vLLM / llama.cpp / Transformers 多引擎本地推理、显存智能调度、舱壁隔离与自愈。仅供学习使用,欢迎交流指正。(除插件系统外,最新进度受协议限制,暂时无法提交到仓库。)
使用 LiteRT 和 ONNX Runtime 在 Android 上运行 Gemma、Qwen 和 LLaMA 等本地大语言模型,实现离线、私密的实时聊天和问答。