Git Stars Git Stars

#on-device-ai 仓库

探索 68 个标记为 #on-device-ai 的活跃开源 GitHub 仓库,它们累计获得 183,992 个 Star(平均每个项目 2,705 个)。该主题的领先项目是 cactus-compute/cactus,拥有 14,864 个 Star。

68
仓库总数
183,992
总星标数
2,705
平均每个仓库星标数
1
cactus-compute/cactus

面向消费级设备的不足 50 MB 的智能代理、语音与视觉智能。

cactus-compute
⭐ 14,864 Python 👤 cactus-compute Organization 🕐 已更新 2026-11-18 📅 创建时间 2026-02-24
2
Edge0-AI/Edge0

原生运行于设备的基础模型:笔记本电脑上运行 145B,手机上运行 35B。潜在 MoE、由 SSD 流式加载的权重,以及能提前一步预测负载的路由器。Mac、iPhone、Android、Windows。

Edge0-AI
⭐ 12,176 C++ 👤 Edge0-AI Organization 🕐 已更新 2026-11-21 📅 创建时间 2026-09-08
3
OpenBMB/MiniCPM

MiniCPM5:端侧最先进的大语言模型,小而强大。

OpenBMB
⭐ 11,898 Jupyter Notebook 👤 OpenBMB Organization 🕐 已更新 2026-11-09 📅 创建时间 2024-01-29
4
RunanywhereAI/runanywhere-sdks

用于在本地运行AI的生产就绪型工具包

RunanywhereAI
⭐ 10,354 C++ 👤 RunanywhereAI Organization 🕐 已更新 2026-11-10 📅 创建时间 2025-07-22
5
m87-labs/moondream

微小视觉语言模型

m87-labs
⭐ 10,167 Python 👤 m87-labs Organization 🕐 已更新 2026-04-20 📅 创建时间 2023-12-29
6
qualcomm/GenieX

只需几行代码,即可在骁龙设备上跨NPU、GPU和CPU本地运行前沿的LLM和VLM

qualcomm
⭐ 8,544 Go 👤 qualcomm Organization 🕐 已更新 2026-11-20 📅 创建时间 2024-08-16
7
apple-aiml-research/ml-fastvlm

本仓库包含“FastVLM: Efficient Vision Encoding for Vision Language Models” (CVPR 2025) 的官方实现

apple-aiml-research
⭐ 7,445 Python 👤 apple-aiml-research Organization 🕐 已更新 2026-09-11 📅 创建时间 2025-05-01
8
drumih/turbo-fieldfare

在任何 M 系列 MacBook 上以约 2 GB 内存运行 Gemma 4 26B-A4B 推理

drumih
⭐ 7,432 Swift 👤 drumih User 🕐 已更新 2026-11-14 📅 创建时间 2026-07-17
9
google-ai-edge/LiteRT-LM

LiteRT-LM 是 Google 推出的生产级、高性能开源推理框架,用于在边缘设备上部署大型语言模型。

google-ai-edge
⭐ 6,913 C++ 👤 google-ai-edge Organization 🕐 已更新 2026-11-21 📅 创建时间 2025-04-14
10
neuphonic/neutts

Neuphonic 的设备端 TTS 模型

neuphonic
⭐ 6,343 Python 👤 neuphonic Organization 🕐 已更新 2026-07-30 📅 创建时间 2025-10-02
11
cactus-compute/engine

面向消费级设备的 2 位量化、内核和运行时。

cactus-compute
⭐ 6,200 C++ 👤 cactus-compute Organization 🕐 已更新 2026-11-05 📅 创建时间 2025-04-23
12
Fractal-Compute-Orchestrations/FractalAndroid

面向边缘计算和联邦学习、以人为本且能感知资源的 Android 节点。通过隐私优先的本地化和贴心的硬件管理,协调分布式智能。

Fractal-Compute-Orchestrations
⭐ 4,851 Kotlin 👤 Fractal-Compute-Orchestrations Organization 🕐 已更新 2026-11-13 📅 创建时间 2025-11-21
13
thunderbird/thunderbolt

你掌控的 AI:选择你的模型。拥有你的数据。消除供应商锁定。

thunderbird
⭐ 4,827 TypeScript 👤 thunderbird Organization 🕐 已更新 2026-11-21 📅 创建时间 2025-07-23
14
huggingface/smollm

SmolLM 和 SmolVLM 系列模型的所有信息

huggingface
⭐ 3,960 Python 👤 huggingface Organization 🕐 已更新 2026-10-06 📅 创建时间 2024-11-04
15
XiaoMi
⭐ 3,574 Python 👤 XiaoMi Organization 🕐 已更新 2026-11-20 📅 创建时间 2025-11-06
16
nicedreamzapp/claude-code-local

Claude Code 的使用额度用完了?用本地模型继续免费离线使用:Qwen 3.8、Gemma 4,以及 Qwen 4 发布当天即可使用。在搭载 Apple 芯片的 Mac(MLX)、Linux 和 Windows(llama.cpp)上运行,无需 API 密钥。你的代码始终留在本地。

nicedreamzapp
⭐ 3,525 Python 👤 nicedreamzapp User 🕐 已更新 2026-11-21 📅 创建时间 2026-03-26
17
QiuYannnn/Local-File-Organizer

一个由 AI 驱动的文件管理工具,通过组织本地文本、图像来确保隐私。使用 Llama3.2 3B 和 Llava v1.6 模型及 Nexa SDK,它能够直观地扫描、重构和整理文件,实现快速、无缝的访问和轻松的检索。

QiuYannnn
⭐ 3,069 Python 👤 QiuYannnn User 🕐 已更新 2024-10-21 📅 创建时间 2024-09-21
18
Mininglamp-AI/Mano-P

Mano-P: 开源 GUI-VLA 边缘设备代理。在 OSWorld 上排名 #1(专业版,58.2%)。在 Apple M4 Mac mini/MacBook 上本地运行 — 无数据离开您的设备。Mano-P 是一个开源 GUI-VLA 项目,支持在 Mac mini/MacBook 上或通过算力棒本地运行推理,实现纯视觉驱动的跨平台 GUI 自动化操作。数据完全本地处理,支持复杂多步骤任务规划与执行。

Mininglamp-AI
⭐ 2,855 👤 Mininglamp-AI Organization 🕐 已更新 2026-06-25 📅 创建时间 2026-03-25
19
huggingface/swift-coreml-diffusers

演示 Core ML Stable Diffusion 的 Swift 应用

huggingface
⭐ 2,758 Swift 👤 huggingface Organization 🕐 已更新 2025-11-06 📅 创建时间 2022-12-13
20
fikrikarim/parlor

具备类似 GPT-Live 功能的端侧实时多模态人工智能

fikrikarim
⭐ 2,117 Python 👤 fikrikarim User 🕐 已更新 2026-08-03 📅 创建时间 2026-04-05
21
cosmo-wander-ai/cosmo-edge

面向生产环境的 C++ 边缘 AI 引擎,用于视频分析,并支持在 Sophon、Rockchip RKNN 和 x86 平台上运行设备端 VLM,提供可视化编排、实时 OSD、事件处理和可复现的基准测试。

cosmo-wander-ai
⭐ 2,106 C 👤 cosmo-wander-ai Organization 🕐 已更新 2026-11-20 📅 创建时间 2026-06-09
22
john-rocky/CoreML-Models

适用于 iOS/macOS 的 Core ML 模型库 — 将 PyTorch 模型转换为即用型 .mlpackage,每个模型都包含转换脚本和 SwiftUI 示例应用程序。相关存储库涵盖了 Apple 的 Core AI 框架(iOS/macOS 27)和端侧大语言模型 (LLM)。

john-rocky
⭐ 1,902 Swift 👤 john-rocky User 🕐 已更新 2026-11-19 📅 创建时间 2020-08-12
23
software-mansion/react-native-executorch

高性能、隐私优先的 React Native 端侧 AI 推理库,由 PyTorch 的 ExecuTorch 运行时提供支持

software-mansion
⭐ 1,794 TypeScript 👤 software-mansion Organization 🕐 已更新 2026-11-20 📅 创建时间 2024-10-16
24
nobodywho-ooo/nobodywho

NobodyWho 是一个推理引擎,允许你在任何设备上本地高效地运行 LLM。

nobodywho-ooo
⭐ 1,699 Rust 👤 nobodywho-ooo Organization 🕐 已更新 2026-11-19 📅 创建时间 2024-09-03
25
Muesli-HQ/muesli

Muesli:macOS 上原生支持智能体的本地会议转录与语音听写(Granola + WisprFlow + Littlebird 的替代品)

Muesli-HQ
⭐ 1,652 Swift 👤 Muesli-HQ Organization 🕐 已更新 2026-11-21 📅 创建时间 2026-03-05
26
amicalhq/amical

适用于 macOS 和 Windows 的免费开源语音输入。使用 Whisper 和 Parakeet 在本地进行语音转文字,也支持离线使用。

amicalhq
⭐ 1,648 TypeScript 👤 amicalhq Organization 🕐 已更新 2026-11-21 📅 创建时间 2025-05-08
27
mizorewww/laya-coreml

在 Apple Core ML 和神经引擎上运行本地 Laya 类型决策。已验证移植版本;在 M3 Max 上,短决策耗时约 5 毫秒,并提供可复现的速度和能耗基准测试。

mizorewww
⭐ 1,646 Python 👤 mizorewww User 🕐 已更新 2026-11-21 📅 创建时间 2026-09-19
28
Neywa-Labs/nativ

Nativ 是一款适用于 Mac 的开源本地 AI 应用。它在 Apple 芯片上运行开放式 AI 模型,任何数据都不会离开你的 Mac。

Neywa-Labs
⭐ 1,608 Swift 👤 Neywa-Labs Organization 🕐 已更新 2026-11-21 📅 创建时间 2026-07-20
29
jxlpzqc/TMSpeech

腾讯会议摸鱼工具

jxlpzqc
⭐ 1,504 C# 👤 jxlpzqc User 🕐 已更新 2026-07-15 📅 创建时间 2023-06-20
30
ARahim3/mlx-tune

使用 Apple Silicon 在你的 Mac 上微调 LLM。SFT、DPO、GRPO、视觉、TTS、STT、嵌入和 OCR 微调 — 原生在 MLX 上。与 Unsloth 兼容的 API。

ARahim3
⭐ 1,475 Python 👤 ARahim3 User 🕐 已更新 2026-06-23 📅 创建时间 2026-01-03
31
facebookresearch/MobileLLM

MobileLLM 优化百万参数以下的语言模型用于设备端用例。收录于 ICML 2024。

facebookresearch
⭐ 1,471 Python 👤 facebookresearch Organization 🕐 已更新 2026-04-30 📅 创建时间 2024-07-09
32
mit-han-lab/proxylessnas

[ICLR 2019] ProxylessNAS: 针对目标任务和硬件的直接神经架构搜索

mit-han-lab
⭐ 1,451 C++ 👤 mit-han-lab Organization 🕐 已更新 2024-08-30 📅 创建时间 2018-12-01
33
callstackincubator/ai

在 React Native 中进行设备端 LLM 执行,兼容 Vercel AI SDK

callstackincubator
⭐ 1,442 TypeScript 👤 callstackincubator Organization 🕐 已更新 2026-11-11 📅 创建时间 2024-07-19
34
kellyvv/PhoneClaw

PhoneClaw 将手机转变为本地AI代理运行时,配备设备端模型、原生移动技能、LiveLand以及可选的Mac网关推理。

kellyvv
⭐ 1,294 Swift 👤 kellyvv User 🕐 已更新 2026-08-06 📅 创建时间 2026-04-04
35
rudrankriyam/Foundation-Models-Framework-Lab

一个使用 Apple 基础模型框架构建、测试和评估应用程序的实践实验室。

rudrankriyam
⭐ 1,194 Swift 👤 rudrankriyam User 🕐 已更新 2026-11-07 📅 创建时间 2025-06-09
36
agents-io/PokeClaw

PokeClaw (PocketClaw) — 首个控制你的Android手机的设备端AI。Gemma 4,无需云端,无需API密钥。Poke是Pocket的简称。

agents-io
⭐ 1,165 Kotlin 👤 agents-io Organization 🕐 已更新 2026-06-02 📅 创建时间 2026-04-06
37
chongzhou96/EdgeSAM

"EdgeSAM:用于SAM设备端部署的Prompt-In-the-Loop蒸馏"的官方PyTorch实现

chongzhou96
⭐ 1,152 Jupyter Notebook 👤 chongzhou96 User 🕐 已更新 2025-05-24 📅 创建时间 2023-12-06
38
NativeMindBrowser/NativeMindExtension

NativeMind: 您完全私密、开源、设备端 AI 助手

NativeMindBrowser
⭐ 1,137 TypeScript 👤 NativeMindBrowser Organization 🕐 已更新 2026-03-23 📅 创建时间 2025-06-05
39
google-ai-edge/litert-torch

支持使用 LiteRT 进行 PyTorch 模型转换。

google-ai-edge
⭐ 1,112 Jupyter Notebook 👤 google-ai-edge Organization 🕐 已更新 2026-11-21 📅 创建时间 2024-05-13
40
Helldez/BigMoeOnEdge

运行比内存容量更大的 MoE 模型。在手机、笔记本电脑或边缘设备上运行前沿级 MoE。无损,基于原版 llama.cpp。自适应流式优化器。支持任何硬件、任何操作系统、任何模型、任何量化方式,并通过本地兼容 OpenAI 的服务器提供服务。

Helldez
⭐ 1,066 C++ 👤 Helldez User 🕐 已更新 2026-11-21 📅 创建时间 2026-07-10
41
intel/AI-Playground

专为由 Intel® Arc™ GPU 驱动的 PC 设计的 AI PC 启动应用,可用于 AI 图像创建、图像风格化和聊天机器人。

intel
⭐ 1,043 TypeScript 👤 intel Organization 🕐 已更新 2026-10-30 📅 创建时间 2024-07-10
42
kennss/SiliconScope

无需sudo的Apple Silicon系统监视器(原生SwiftUI图形界面),支持ANE/媒体引擎/内存带宽追踪

kennss
⭐ 1,026 Swift 👤 kennss User 🕐 已更新 2026-11-20 📅 创建时间 2026-06-08
43
facebookresearch/EdgeTAM

[CVPR 2025] "EdgeTAM: On-Device Track Anything Model" 的官方 PyTorch 实现

facebookresearch
⭐ 1,024 Jupyter Notebook 👤 facebookresearch Organization 🕐 已更新 2026-01-27 📅 创建时间 2024-12-13
44
feder-cr/jev

jevos:Jev 和 Microsoft-Decision-1 的开源替代方案。在笔记本电脑的 CPU 上进行是/否决策、选择和评分,并提供概率。

feder-cr
⭐ 970 C++ 👤 feder-cr User 🕐 已更新 2026-10-18 📅 创建时间 2024-08-15
45
mit-han-lab/TinyChatEngine

TinyChatEngine: 设备端 LLM 推理库

mit-han-lab
⭐ 934 C++ 👤 mit-han-lab Organization 🕐 已更新 2024-07-04 📅 创建时间 2023-05-24
46
eclaire-labs/eclaire

适用于您数据的本地优先、开源AI助手。统一任务、笔记、文档、照片和书签。私密、自托管,并通过API可扩展。

eclaire-labs
⭐ 925 TypeScript 👤 eclaire-labs Organization 🕐 已更新 2026-11-08 📅 创建时间 2025-09-02
47
TheStageAI/TheWhisper

针对流式传输和端侧设备使用优化的 Whisper 模型

TheStageAI
⭐ 905 Python 👤 TheStageAI Organization 🕐 已更新 2026-10-31 📅 创建时间 2025-10-19
48
gety-ai/apple-on-device-openai

适用于Apple设备端模型的OpenAI兼容API服务器

gety-ai
⭐ 891 Swift 👤 gety-ai Organization 🕐 已更新 2025-10-02 📅 创建时间 2025-06-15
49
christopherkarani/Wax

为您的所有智能体提供共享的单文件记忆层,在 Apple Silicon 上实现对文本、照片和视频的亚毫秒级 RAG。无需服务器。无需 API。一个文件。纯 Swift。

christopherkarani
⭐ 816 Swift 👤 christopherkarani User 🕐 已更新 2026-11-20 📅 创建时间 2026-01-20
50
tetherto/qvac

开源本地 AI SDK——无需云端和 API 密钥,即可在设备上运行 AI。支持 GGUF、RAG、图像、音乐和视频生成、语音转文字、P2P 推理等功能。跨平台支持:Linux、macOS、Windows、Android、iOS。

tetherto
⭐ 806 TypeScript 👤 tetherto Organization 🕐 已更新 2026-11-21 📅 创建时间 2026-01-03

常见问题解答

1

GitHub 上最受欢迎的 #on-device-ai 仓库是什么?

GitHub 上排名第一的开源 #on-device-ai 项目是 cactus-compute/cactus,拥有 14,864 个 Star。面向消费级设备的不足 50 MB 的智能代理、语音与视觉智能。

2

#on-device-ai 仓库中最常使用的编程语言有哪些?

在 GitHub 上排名靠前的 #on-device-ai 项目中,最常见的编程语言是 Python, Swift, C++, TypeScript。

3

#on-device-ai 仓库的排名是如何计算的?

我们跟踪了 68 个标记为 #on-device-ai 且拥有 500+ 个 Star 的活跃开源仓库,共计获得 183,992 个 Star,平均每个仓库拥有 2,705 个 Star。排名每日根据 GitHub API 更新。