#on-device-ai 仓库
68
仓库总数
183,992
总星标数
2,705
平均每个仓库星标数
共 69 个仓库
51
SharpAI/SwiftLM
⚡ Apple Silicon 原生 MLX Swift LLM 推理服务器。兼容 OpenAI API,支持 100B+ MoE 模型的 SSD 流式传输,TurboQuant KV 缓存压缩,MACOS + iOS iPhone 应用。
54
carloslfu/slotstream
在无法容纳 105 GB 模型的 Mac 上运行它。Qwen3.8-Flash-Next 4-bit,可从 SSD 流式加载,在配备 16–64 GB 内存的 Apple Silicon Mac 上运行。完全采用原生 Swift、MLX 和 Metal。离线运行,无需 Python。提供 CLI、Swift 库以及 Ollama/OpenAI/Anthropic API。兼容 Claude Code 和 Codex。
55
DenisovAV/flutter_edge_ai
Flutter 端侧 AI——Gemma 及其他大型语言模型、多模态、函数调用、嵌入、RAG 和语音,支持 Android、iOS、Web、macOS、Windows 和 Linux。
56
leonickson1/Swiftlet
Swiftlet 是一个基于 Swift 和 Metal 的运行时,通过从存储中流式传输专家权重,在 Apple 设备上本地运行大型 Qwen 混合专家模型,从而使 35B 和 80B 模型能够在低内存环境下运行,包括在 iPhone 上。
⭐ 649
👤 AmadeusChan User
🕐 已更新 2026-01-14
📅 创建时间 2023-03-20
65
FluidInference/FluidUse
在 Apple 芯片上本地使用电脑:通过 macOS 辅助功能 API 驱动,使用 laya 在设备端进行类型化决策,并使用 CUA-S1-FORMS 填写表单
⭐ 536
👤 d2forum Organization
🕐 已更新 2025-03-11
📅 创建时间 2025-03-10
69
dineshsoudagar/local-llms-on-android
使用 LiteRT 和 ONNX Runtime 在 Android 上运行 Gemma、Qwen 和 LLaMA 等本地大语言模型,实现离线、私密的实时聊天和问答。