#on-device-ai リポジトリ
リポジトリ合計69件
⚡ Apple Silicon向けネイティブMLX Swift LLM推論サーバー。OpenAI互換API、100B+ MoEモデル向けSSDストリーミング、TurboQuant KVキャッシュ圧縮、MACOS + iOS iPhoneアプリ。
105 GBのAIモデルを、モデル全体を保存できないMacで実行。Qwen3.8-Flash-Nextの4ビット版をSSDからストリーミングし、メモリ16~64 GBのApple Silicon搭載Macで動作します。Swift、MLX、Metalによる完全ネイティブ実装。オフラインで動作し、Pythonは不要。CLI、Swiftライブラリ、Ollama/OpenAI/Anthropic APIに対応。Claude CodeおよびCodexでも利用できます。
Flutter向けオンデバイスAI — Gemmaやその他のLLM、マルチモーダル、関数呼び出し、埋め込み、RAG、音声に対応し、Android、iOS、Web、macOS、Windows、Linuxで利用可能。
Swiftletは、SwiftおよびMetalベースのランタイムであり、ストレージからエキスパートの重みをストリーミングすることで、Appleデバイス上で大規模なQwen Mixture-of-Expertsモデルをローカル実行します。これにより、iPhoneを含む低RAM環境でも35Bおよび80Bモデルの動作が可能になります。
PennyWise は取引 SMS を自動的に読み取り、デバイス上の AI アシスタンスにより整理された財務データに変換します。手動入力不要、クラウド処理不要、完全なプライバシー。
Appleシリコンでのローカルなコンピューター操作:macOSのアクセシビリティAPIを介し、layaでデバイス上の型付き意思決定を行い、CUA-S1-FORMSでフォームに入力
LiteRT と ONNX Runtime を使って、Android 上で Gemma、Qwen、LLaMA などのローカル LLM を実行し、オフラインかつプライベートなリアルタイムチャットや質問応答を実現します。