#local-llm 仓库
共 122 个仓库
使用 Apple Silicon 在你的 Mac 上微调 LLM。SFT、DPO、GRPO、视觉、TTS、STT、嵌入和 OCR 微调 — 原生在 MLX 上。与 Unsloth 兼容的 API。
🌌 为你喜爱的角色注入灵魂。Soul of Waifu 是一款桌面角色扮演与 AI 伴侣应用,支持 Live2D/VRM 虚拟形象、语音聊天及本地大语言模型。通过沉浸式聊天、RPG 冒险和桌面互动,与她们共同成长。
本地推理,体验媲美前沿 API:在 AMD Strix Halo 上运行 Qwen3.8-Flash-Next 和小型 NPU 模型,通过同一端口提供 OpenAI 和 Anthropic API。
零 GPU、纯 CPU 推理,支持 30B–284B MoE 模型(Qwen3.8 176.5B 已在 28.26/48.35 GiB 的 Cgroup v2 冷缓存环境中通过认证、DeepSeek-V4 284B、Nemotron-30B)+ RouteCrack 2.0。
在自己的 PC 上运行大型 AI 模型:使用 Strata 引擎运行 Qwen3.8-Flash-Next,使用专为 PolyStrata 打造的第二款引擎运行 GLM 5.3 Flash、DeepSeek V4 Flash、LFM2.5、Qwen3.6、Ornith 1.5、Gemma 4、Tiel Coder 和 MiniCPM-V。支持 Windows 和 Linux 一键安装,并在 localhost 上提供 OpenAI/Anthropic API。
开源自主 AI 渗透测试。配备 50 个专业智能体,覆盖 Web、API、云、Active Directory、Kubernetes、CI/CD 以及 AI/LLM(OWASP LLM Top 10),并提供经过证据核验的攻击路径图。运行于隐私网关之后的本地 LLM。可与 GitHub、GitLab、Jenkins、VS Code、JetBrains、n8n、Grafana 和 Splunk 集成。
PokeClaw (PocketClaw) — 首个控制你的Android手机的设备端AI。Gemma 4,无需云端,无需API密钥。Poke是Pocket的简称。
掌控工作流:一个开源 AI 平台,整合您的知识、模型和渠道——网页、WhatsApp、电子邮件、Outlook、Nextcloud 和 ownCloud。本地模型与云端模型并行使用,每个回答都显示成本。
Capri——一款灵感源自《赛博朋克:边缘行者》的桌面 AI 助手。支持 Claude 3.7、Claude Code、OpenAI,以及本地 Ollama/LLaMA。可自定义的 AI 萌伴,支持语音聊天。
在您自己的服务器上一键安装自托管 AI 技术栈:n8n、Ollama、Open WebUI、OpenClaw、Dify、Flowise、Supabase、ComfyUI、Qdrant 及 30 多种工具。支持 Docker Compose,通过 Caddy 自动配置 HTTPS,并内置监控功能。免费的 Zapier/Make 替代方案。
Nornicdb 是一个分布式、低延迟的 Graph+Vector、Temporal MVCC 数据库,支持亚毫秒级的 HNSW 搜索、图遍历和写入。通过使用 Neo4j Bolt/Cypher 和 qdrant 的 gRPC,您无需更改代码即可切换,同时还能增加模式(schemas)、托管嵌入、重排序+LLM、GPU 加速、自动 TLP、基于策略的内存衰减以及 MCP 服务器等智能功能。
面向 AI 原生游戏开发的开源桌面应用。使用任意 AI(包括本地模型),在 Unreal Engine、Unity、Godot、Roblox 或 Three.js 中构建游戏。
Karpathy的LLM Wiki,使用Ollama 100% 本地运行。投放Markdown笔记 → AI提取概念 → 你的Obsidian wiki自动链接并成长。零分享。你的笔记归你所有。
为 Qwen 和 Nemotron 优化的极速 Apple Silicon 推理引擎。兼容 OpenAI 和 Anthropic API。由 nace.ai 团队打造。
利用此 Ollama 的 TUI MCP 客户端,充分发挥本地 LLM 的强大功能。具备所有核心 MCP 原语(工具、提示、资源)、代理模式、多服务器、模型切换、流式响应、人在回路、思考模式、模型参数配置、系统提示和已保存的偏好设置。
开源本地 AI SDK——无需云端和 API 密钥,即可在设备上运行 AI。支持 GGUF、RAG、图像、音乐和视频生成、语音转文字、P2P 推理等功能。跨平台支持:Linux、macOS、Windows、Android、iOS。
Microsoft GraphRAG + AutoGen + Ollama + Chainlit = 完全本地免费的多代理RAG超级机器人
在 Apple Silicon 上实现最高 4 倍速的 LLM 解码,且无损。DeepSeek 的 DSpark 和 z-lab 的 DFlash 推测解码的原生 MLX 移植版——支持 Gemma-4、Qwen3.8、Muse-Glimmer、Nemotron、LFM2.5、Ornith-1.0 以及三值 Bonsai-27B。
在一台 32 GB 笔记本电脑上运行 Qwen3-Next-80B(48 GB),速度可达 37 tok/s;不使用草稿解码时为 24 tok/s,而 llama.cpp 为 2.8 tok/s;读取速度为 62 tok/s 对 16 tok/s。在 Q4_K_M 下对比的全部 13 个模型中,速度都快于 llama.cpp。运行比内存更大的 LLM,纯 C 实现,支持 CPU 或 GPU。