#on-device-ai 仓库
探索 68 个标记为 #on-device-ai 的活跃开源 GitHub 仓库,它们累计获得 183,992 个 Star(平均每个项目 2,705 个)。该主题的领先项目是 cactus-compute/cactus,拥有 14,864 个 Star。
共 69 个仓库
原生运行于设备的基础模型:笔记本电脑上运行 145B,手机上运行 35B。潜在 MoE、由 SSD 流式加载的权重,以及能提前一步预测负载的路由器。Mac、iPhone、Android、Windows。
本仓库包含“FastVLM: Efficient Vision Encoding for Vision Language Models” (CVPR 2025) 的官方实现
面向边缘计算和联邦学习、以人为本且能感知资源的 Android 节点。通过隐私优先的本地化和贴心的硬件管理,协调分布式智能。
Claude Code 的使用额度用完了?用本地模型继续免费离线使用:Qwen 3.8、Gemma 4,以及 Qwen 4 发布当天即可使用。在搭载 Apple 芯片的 Mac(MLX)、Linux 和 Windows(llama.cpp)上运行,无需 API 密钥。你的代码始终留在本地。
一个由 AI 驱动的文件管理工具,通过组织本地文本、图像来确保隐私。使用 Llama3.2 3B 和 Llava v1.6 模型及 Nexa SDK,它能够直观地扫描、重构和整理文件,实现快速、无缝的访问和轻松的检索。
Mano-P: 开源 GUI-VLA 边缘设备代理。在 OSWorld 上排名 #1(专业版,58.2%)。在 Apple M4 Mac mini/MacBook 上本地运行 — 无数据离开您的设备。Mano-P 是一个开源 GUI-VLA 项目,支持在 Mac mini/MacBook 上或通过算力棒本地运行推理,实现纯视觉驱动的跨平台 GUI 自动化操作。数据完全本地处理,支持复杂多步骤任务规划与执行。
面向生产环境的 C++ 边缘 AI 引擎,用于视频分析,并支持在 Sophon、Rockchip RKNN 和 x86 平台上运行设备端 VLM,提供可视化编排、实时 OSD、事件处理和可复现的基准测试。
适用于 iOS/macOS 的 Core ML 模型库 — 将 PyTorch 模型转换为即用型 .mlpackage,每个模型都包含转换脚本和 SwiftUI 示例应用程序。相关存储库涵盖了 Apple 的 Core AI 框架(iOS/macOS 27)和端侧大语言模型 (LLM)。
高性能、隐私优先的 React Native 端侧 AI 推理库,由 PyTorch 的 ExecuTorch 运行时提供支持
在 Apple Core ML 和神经引擎上运行本地 Laya 类型决策。已验证移植版本;在 M3 Max 上,短决策耗时约 5 毫秒,并提供可复现的速度和能耗基准测试。
使用 Apple Silicon 在你的 Mac 上微调 LLM。SFT、DPO、GRPO、视觉、TTS、STT、嵌入和 OCR 微调 — 原生在 MLX 上。与 Unsloth 兼容的 API。
PokeClaw (PocketClaw) — 首个控制你的Android手机的设备端AI。Gemma 4,无需云端,无需API密钥。Poke是Pocket的简称。
运行比内存容量更大的 MoE 模型。在手机、笔记本电脑或边缘设备上运行前沿级 MoE。无损,基于原版 llama.cpp。自适应流式优化器。支持任何硬件、任何操作系统、任何模型、任何量化方式,并通过本地兼容 OpenAI 的服务器提供服务。
为您的所有智能体提供共享的单文件记忆层,在 Apple Silicon 上实现对文本、照片和视频的亚毫秒级 RAG。无需服务器。无需 API。一个文件。纯 Swift。
开源本地 AI SDK——无需云端和 API 密钥,即可在设备上运行 AI。支持 GGUF、RAG、图像、音乐和视频生成、语音转文字、P2P 推理等功能。跨平台支持:Linux、macOS、Windows、Android、iOS。
常见问题解答
GitHub 上最受欢迎的 #on-device-ai 仓库是什么?
GitHub 上排名第一的开源 #on-device-ai 项目是 cactus-compute/cactus,拥有 14,864 个 Star。面向消费级设备的不足 50 MB 的智能代理、语音与视觉智能。
#on-device-ai 仓库中最常使用的编程语言有哪些?
在 GitHub 上排名靠前的 #on-device-ai 项目中,最常见的编程语言是 Python, Swift, C++, TypeScript。
#on-device-ai 仓库的排名是如何计算的?
我们跟踪了 68 个标记为 #on-device-ai 且拥有 500+ 个 Star 的活跃开源仓库,共计获得 183,992 个 Star,平均每个仓库拥有 2,705 个 Star。排名每日根据 GitHub API 更新。