#on-device-ai 저장소
저장소 총 69개
⚡ Apple Silicon용 네이티브 MLX Swift LLM 추론 서버. OpenAI 호환 API, 100B+ MoE 모델용 SSD 스트리밍, TurboQuant KV 캐시 압축, MACOS + iOS iPhone 앱.
105GB 모델을 저장할 수 없는 Mac에서도 AI 모델을 실행하세요. 4비트 Qwen3.8-Flash-Next를 SSD에서 스트리밍해 메모리 16~64GB의 Apple Silicon Mac에서 구동합니다. Swift, MLX, Metal 기반의 완전 네이티브 구현입니다. 오프라인으로 작동하며 Python이 필요 없습니다. CLI, Swift 라이브러리, Ollama/OpenAI/Anthropic API를 제공합니다. Claude Code 및 Codex와 호환됩니다.
Flutter용 온디바이스 AI — Gemma 및 기타 LLM, 멀티모달, 함수 호출, 임베딩, RAG와 음성을 Android, iOS, Web, macOS, Windows 및 Linux에서 지원합니다.
Swiftlet은 Swift 및 Metal 런타임으로, 스토리지에서 전문가 가중치를 스트리밍하여 Apple 기기에서 대규모 Qwen Mixture-of-Experts 모델을 로컬로 실행합니다. 이를 통해 iPhone을 포함한 낮은 RAM 환경에서도 35B 및 80B 모델을 실행할 수 있습니다.
PennyWise는 거래 SMS 메시지를 자동으로 읽고 기기 내 AI 지원을 통해 정리된 재무 데이터로 변환합니다. 수동 입력 없음, 클라우드 처리 없음, 완전한 프라이버시.
Apple 실리콘에서의 로컬 컴퓨터 사용: macOS 접근성 API를 통해 laya로 기기 내 유형 지정 의사결정을 수행하고 CUA-S1-FORMS로 양식 작성
LiteRT와 ONNX Runtime을 사용해 Android에서 Gemma, Qwen, LLaMA와 같은 로컬 LLM을 실행하고, 오프라인에서 개인정보를 보호하며 실시간 채팅과 질문 답변을 이용하세요.