Git Stars Git Stars

#local-llm 仓库

122
仓库总数
383,928
总星标数
3,146
平均每个仓库星标数

共 122 个仓库

51
theroyallab/tabbyAPI

Exllama 的官方 API 服务器。兼容 OAI,轻量且快速。

theroyallab
⭐ 1,531 Python 👤 theroyallab Organization 🕐 已更新 2026-11-14 📅 创建时间 2023-11-10
52
ARahim3/mlx-tune

使用 Apple Silicon 在你的 Mac 上微调 LLM。SFT、DPO、GRPO、视觉、TTS、STT、嵌入和 OCR 微调 — 原生在 MLX 上。与 Unsloth 兼容的 API。

ARahim3
⭐ 1,475 Python 👤 ARahim3 User 🕐 已更新 2026-06-23 📅 创建时间 2026-01-03
53
jofizcd/Soul-of-Waifu

🌌 为你喜爱的角色注入灵魂。Soul of Waifu 是一款桌面角色扮演与 AI 伴侣应用,支持 Live2D/VRM 虚拟形象、语音聊天及本地大语言模型。通过沉浸式聊天、RPG 冒险和桌面互动,与她们共同成长。

jofizcd
⭐ 1,474 Python 👤 jofizcd User 🕐 已更新 2026-08-28 📅 创建时间 2023-09-02
54
obsei/obsei

开源、隐私优先的客户之声分析工具。可自行托管的 Enterpret 和 Unwrap 替代方案,会在任何大语言模型处理反馈之前移除其中的个人身份信息。

obsei
⭐ 1,454 Python 👤 obsei Organization 🕐 已更新 2026-11-15 📅 创建时间 2020-10-25
55
peonist-ai/halogen-flash-server

本地推理,体验媲美前沿 API:在 AMD Strix Halo 上运行 Qwen3.8-Flash-Next 和小型 NPU 模型,通过同一端口提供 OpenAI 和 Anthropic API。

peonist-ai
⭐ 1,412 Shell 👤 peonist-ai Organization 🕐 已更新 2026-11-18 📅 创建时间 2026-08-26
56
synchopate/llama-modchip

零 GPU、纯 CPU 推理,支持 30B–284B MoE 模型(Qwen3.8 176.5B 已在 28.26/48.35 GiB 的 Cgroup v2 冷缓存环境中通过认证、DeepSeek-V4 284B、Nemotron-30B)+ RouteCrack 2.0。

synchopate
⭐ 1,398 Python 👤 synchopate User 🕐 已更新 2026-11-21 📅 创建时间 2026-10-29
57
linyiLYi/voice-assistant

一个本地语音助手的简单玩具演示,集成了whisper和大语言模型。

linyiLYi
⭐ 1,329 Python 👤 linyiLYi User 🕐 已更新 2024-04-30 📅 创建时间 2023-12-09
58
simplexai-labs/PolyStrata

在自己的 PC 上运行大型 AI 模型:使用 Strata 引擎运行 Qwen3.8-Flash-Next,使用专为 PolyStrata 打造的第二款引擎运行 GLM 5.3 Flash、DeepSeek V4 Flash、LFM2.5、Qwen3.6、Ornith 1.5、Gemma 4、Tiel Coder 和 MiniCPM-V。支持 Windows 和 Linux 一键安装,并在 localhost 上提供 OpenAI/Anthropic API。

simplexai-labs
⭐ 1,324 C++ 👤 simplexai-labs Organization 🕐 已更新 2026-11-18 📅 创建时间 2026-10-06
59
ASCIT31/Dark-Moon

开源自主 AI 渗透测试。配备 50 个专业智能体,覆盖 Web、API、云、Active Directory、Kubernetes、CI/CD 以及 AI/LLM(OWASP LLM Top 10),并提供经过证据核验的攻击路径图。运行于隐私网关之后的本地 LLM。可与 GitHub、GitLab、Jenkins、VS Code、JetBrains、n8n、Grafana 和 Splunk 集成。

ASCIT31
⭐ 1,279 Python 👤 ASCIT31 Organization 🕐 已更新 2026-11-21 📅 创建时间 2024-11-26
60
wici-ai/inferssd

通过从 SSD 流式加载 MoE 专家,运行所需内存超过 RAM 或 VRAM 容量的模型。基于 llama.cpp 构建。

wici-ai
⭐ 1,277 C++ 👤 wici-ai Organization 🕐 已更新 2026-11-20 📅 创建时间 2026-10-22
61
HelgeSverre/ollama-gui

通过 ollama API 与您的本地 LLM 聊天的 Web 界面

HelgeSverre
⭐ 1,272 TypeScript 👤 HelgeSverre User 🕐 已更新 2026-11-16 📅 创建时间 2023-10-08
62
DasterProkio/awesome-ai-companion

开源 AI 伴侣、桌面宠物、长期记忆与主动对话。人机恋开源项目大全。让你的家机能够脱离官端自主存在,拥有记忆和主动性。

DasterProkio
⭐ 1,248 HTML 👤 DasterProkio User 🕐 已更新 2026-11-21 📅 创建时间 2026-07-03
63
0xSojalSec/LLMs-local

本地运行LLMs的精彩平台、工具和资源列表

0xSojalSec
⭐ 1,206 👤 0xSojalSec User 🕐 已更新 2026-06-10 📅 创建时间 2025-12-17
64
StayLameBro/backburner

你的 iPhone 助力 Mac 运行 270 亿参数模型:通过 USB-C 线缆更快读取提示词,并支持更长上下文

StayLameBro
⭐ 1,195 Python 👤 StayLameBro User 🕐 已更新 2026-11-07 📅 创建时间 2026-10-01
65
mrphrazer/reverser_ai

通过在消费级硬件上使用本地大型语言模型 (LLMs) 提供自动化的逆向工程支持。

mrphrazer
⭐ 1,176 Python 👤 mrphrazer User 🕐 已更新 2026-05-20 📅 创建时间 2024-03-17
66
AllAboutAI-YT/easy-local-rag

使用 Ollama + 邮件 RAG 实现超简单 100% 本地 RAG

AllAboutAI-YT
⭐ 1,175 Python 👤 AllAboutAI-YT User 🕐 已更新 2024-06-04 📅 创建时间 2024-04-15
67
agents-io/PokeClaw

PokeClaw (PocketClaw) — 首个控制你的Android手机的设备端AI。Gemma 4,无需云端,无需API密钥。Poke是Pocket的简称。

agents-io
⭐ 1,165 Kotlin 👤 agents-io Organization 🕐 已更新 2026-06-02 📅 创建时间 2026-04-06
68
hyperionaidev/smolmaxxing

尽可能在最小的设备上运行不同大语言模型的能力最大化

hyperionaidev
⭐ 1,079 C 👤 hyperionaidev Organization 🕐 已更新 2026-11-19 📅 创建时间 2026-11-04
69
pguso/agents-from-scratch

使用本地LLM从零开始构建 AI 代理——不使用任何框架、云 API,也不做隐藏推理。

pguso
⭐ 1,079 Python 👤 pguso User 🕐 已更新 2026-07-25 📅 创建时间 2025-12-22
70
mrkrsl/web-search-mcp

一个简单、本地托管的 Web 搜索 MCP 服务器,用于本地 LLM

mrkrsl
⭐ 1,072 TypeScript 👤 mrkrsl User 🕐 已更新 2025-08-08 📅 创建时间 2025-06-27
71
pepperoni21/ollama-rs

一个简单易用的与Ollama API交互的库。

pepperoni21
⭐ 1,062 Rust 👤 pepperoni21 User 🕐 已更新 2026-11-18 📅 创建时间 2023-11-02
72
metadist/synaplan

掌控工作流:一个开源 AI 平台,整合您的知识、模型和渠道——网页、WhatsApp、电子邮件、Outlook、Nextcloud 和 ownCloud。本地模型与云端模型并行使用,每个回答都显示成本。

metadist
⭐ 1,045 PHP 👤 metadist Organization 🕐 已更新 2026-11-21 📅 创建时间 2025-03-30
73
PotterRemember37/Capri-AI-Desktop

Capri——一款灵感源自《赛博朋克:边缘行者》的桌面 AI 助手。支持 Claude 3.7、Claude Code、OpenAI,以及本地 Ollama/LLaMA。可自定义的 AI 萌伴,支持语音聊天。

PotterRemember37
⭐ 1,040 Python 👤 PotterRemember37 User 🕐 已更新 2026-11-11 📅 创建时间 2026-08-15
74
jegly/Box

当今 Android 平台上最先进、完全离线的客户端 AI 套件。

jegly
⭐ 1,035 Kotlin 👤 jegly User 🕐 已更新 2026-11-21 📅 创建时间 2026-04-17
75
kennss/SiliconScope

无需sudo的Apple Silicon系统监视器(原生SwiftUI图形界面),支持ANE/媒体引擎/内存带宽追踪

kennss
⭐ 1,026 Swift 👤 kennss User 🕐 已更新 2026-11-20 📅 创建时间 2026-06-08
76
wangeai/K3Flight

在 CPU 上本地运行 Kimi K3,运行时内存占用约为 55GB。这是一个由 cPilot Runtime 驱动的单文件 Linux 推理服务器。

wangeai
⭐ 1,019 HTML 👤 wangeai Organization 🕐 已更新 2026-07-31 📅 创建时间 2026-07-30
77
sgaofen/humanizer-local-model

重写 AI 草稿,让文字读起来像是人写的——本地运行,保留事实

sgaofen
⭐ 1,010 Python 👤 sgaofen User 🕐 已更新 2026-10-19 📅 创建时间 2026-09-11
78
OleksandrChekhovskyi/hax

一个用 C 编写的极简、终端原生编码代理。

OleksandrChekhovskyi
⭐ 1,006 C 👤 OleksandrChekhovskyi User 🕐 已更新 2026-11-13 📅 创建时间 2026-04-24
79
patruff/ollama-mcp-bridge

Ollama 和 MCP 服务器之间的桥梁,使本地 LLM 能够使用模型上下文协议工具

patruff
⭐ 973 TypeScript 👤 patruff User 🕐 已更新 2025-04-20 📅 创建时间 2024-12-12
80
feder-cr/jev

jevos:Jev 和 Microsoft-Decision-1 的开源替代方案。在笔记本电脑的 CPU 上进行是/否决策、选择和评分,并提供概率。

feder-cr
⭐ 970 C++ 👤 feder-cr User 🕐 已更新 2026-10-18 📅 创建时间 2024-08-15
81
kossakovsky/selfhost-ai

在您自己的服务器上一键安装自托管 AI 技术栈:n8n、Ollama、Open WebUI、OpenClaw、Dify、Flowise、Supabase、ComfyUI、Qdrant 及 30 多种工具。支持 Docker Compose,通过 Caddy 自动配置 HTTPS,并内置监控功能。免费的 Zapier/Make 替代方案。

kossakovsky
⭐ 964 Shell 👤 kossakovsky User 🕐 已更新 2026-10-27 📅 创建时间 2025-05-05
82
orneryd/NornicDB

Nornicdb 是一个分布式、低延迟的 Graph+Vector、Temporal MVCC 数据库,支持亚毫秒级的 HNSW 搜索、图遍历和写入。通过使用 Neo4j Bolt/Cypher 和 qdrant 的 gRPC,您无需更改代码即可切换,同时还能增加模式(schemas)、托管嵌入、重排序+LLM、GPU 加速、自动 TLP、基于策略的内存衰减以及 MCP 服务器等智能功能。

orneryd
⭐ 933 Go 👤 orneryd User 🕐 已更新 2026-11-21 📅 创建时间 2025-12-06
83
mrdbourke/simple-local-rag

从头开始构建一个RAG(检索增强生成)管道,并使其完全在本地运行。

mrdbourke
⭐ 923 Jupyter Notebook 👤 mrdbourke User 🕐 已更新 2024-05-25 📅 创建时间 2024-03-13
84
hehehai/VoxtMini

适用于 macOS 的本地模型语音输入:在任何应用中进行转录、翻译和改写。Voxt 的继任者。

hehehai
⭐ 916 Go 👤 hehehai User 🕐 已更新 2026-11-21 📅 创建时间 2026-02-26
85
genex-games/genex-desktop

面向 AI 原生游戏开发的开源桌面应用。使用任意 AI(包括本地模型),在 Unreal Engine、Unity、Godot、Roblox 或 Three.js 中构建游戏。

genex-games
⭐ 901 TypeScript 👤 genex-games Organization 🕐 已更新 2026-11-21 📅 创建时间 2026-10-02
86
bernardo-bruning/ollama-copilot

允许您使用 ollama 作为类似 Github copilot 的助手的代理

bernardo-bruning
⭐ 887 Go 👤 bernardo-bruning User 🕐 已更新 2026-09-14 📅 创建时间 2024-04-25
87
Pangu-Immortal/MagicWX

基于Jetpack Compose和ONNX Runtime的Android 17本地LLM原型,用于离线AI推理实验。

Pangu-Immortal
⭐ 864 Kotlin 👤 Pangu-Immortal User 🕐 已更新 2026-11-09 📅 创建时间 2019-05-08
88
gavamedia/deltafin

在单台设备上运行完整的 Kimi K3。并提供用于本地聊天和编程代理的 OpenAI 兼容 API 服务器。

gavamedia
⭐ 862 Rust 👤 gavamedia Organization 🕐 已更新 2026-10-04 📅 创建时间 2026-07-28
89
kytmanov/obsidian-llm-wiki-local

Karpathy的LLM Wiki,使用Ollama 100% 本地运行。投放Markdown笔记 → AI提取概念 → 你的Obsidian wiki自动链接并成长。零分享。你的笔记归你所有。

kytmanov
⭐ 855 Python 👤 kytmanov User 🕐 已更新 2026-05-26 📅 创建时间 2026-04-07
90
nace-ai/kapitsa

为 Qwen 和 Nemotron 优化的极速 Apple Silicon 推理引擎。兼容 OpenAI 和 Anthropic API。由 nace.ai 团队打造。

nace-ai
⭐ 840 C++ 👤 nace-ai Organization 🕐 已更新 2026-11-21 📅 创建时间 2026-10-16
91
jonigl/mcp-client-for-ollama

利用此 Ollama 的 TUI MCP 客户端,充分发挥本地 LLM 的强大功能。具备所有核心 MCP 原语(工具、提示、资源)、代理模式、多服务器、模型切换、流式响应、人在回路、思考模式、模型参数配置、系统提示和已保存的偏好设置。

jonigl
⭐ 837 Python 👤 jonigl User 🕐 已更新 2026-11-19 📅 创建时间 2025-04-23
92
nkasmanoff/pi-card

Raspberry Pi 语音助手

nkasmanoff
⭐ 808 Python 👤 nkasmanoff User 🕐 已更新 2024-12-22 📅 创建时间 2024-05-04
93
tetherto/qvac

开源本地 AI SDK——无需云端和 API 密钥,即可在设备上运行 AI。支持 GGUF、RAG、图像、音乐和视频生成、语音转文字、P2P 推理等功能。跨平台支持:Linux、macOS、Windows、Android、iOS。

tetherto
⭐ 806 TypeScript 👤 tetherto Organization 🕐 已更新 2026-11-21 📅 创建时间 2026-01-03
94
karthik-codex/Autogen_GraphRAG_Ollama

Microsoft GraphRAG + AutoGen + Ollama + Chainlit = 完全本地免费的多代理RAG超级机器人

karthik-codex
⭐ 761 Python 👤 karthik-codex User 🕐 已更新 2024-07-20 📅 创建时间 2024-07-07
95
ILikeAI/AlwaysReddy

AlwaysReddy是一个LLM语音助手,只需按下一个热键即可随时使用。

ILikeAI
⭐ 760 Python 👤 ILikeAI User 🕐 已更新 2025-03-04 📅 创建时间 2024-01-24
96
jart/emacs-copilot

Emacs 的大型语言模型代码补全

jart
⭐ 758 Emacs Lisp 👤 jart User 🕐 已更新 2024-01-07 📅 创建时间 2023-12-31
97
ARahim3/mlx-dspark

在 Apple Silicon 上实现最高 4 倍速的 LLM 解码,且无损。DeepSeek 的 DSpark 和 z-lab 的 DFlash 推测解码的原生 MLX 移植版——支持 Gemma-4、Qwen3.8、Muse-Glimmer、Nemotron、LFM2.5、Ornith-1.0 以及三值 Bonsai-27B。

ARahim3
⭐ 743 Python 👤 ARahim3 User 🕐 已更新 2026-11-08 📅 创建时间 2026-06-29
98
notatestuser/ds4-control

适用于 macOS 菜单栏的快速本地 DeepSeek V4.1 应用,支持 100 万上下文。

notatestuser
⭐ 740 Swift 👤 notatestuser User 🕐 已更新 2026-10-26 📅 创建时间 2026-05-29
99
prabanta-dev/janas

在一台 32 GB 笔记本电脑上运行 Qwen3-Next-80B(48 GB),速度可达 37 tok/s;不使用草稿解码时为 24 tok/s,而 llama.cpp 为 2.8 tok/s;读取速度为 62 tok/s 对 16 tok/s。在 Q4_K_M 下对比的全部 13 个模型中,速度都快于 llama.cpp。运行比内存更大的 LLM,纯 C 实现,支持 CPU 或 GPU。

prabanta-dev
⭐ 738 C 👤 prabanta-dev Organization 🕐 已更新 2026-11-20 📅 创建时间 2026-09-20
100
andersrex/notesollama

在 Apple Notes 中使用 Ollama 与本地 LLM 对话

andersrex
⭐ 711 Swift 👤 andersrex User 🕐 已更新 2025-08-04 📅 创建时间 2024-02-19