#on-device-ai Репозитории
Всего репозиториев: 69
⚡ Нативный сервер вывода MLX Swift LLM для Apple Silicon. API, совместимый с OpenAI, потоковая передача с SSD для моделей MoE 100B+, сжатие TurboQuant KV-кеша, приложение для MACOS + iOS iPhone.
💬 Предложение по веб-API для запроса языковых моделей, предоставляемых браузером
LLM на устройстве понимает всю вашу жизнь, а затем проактивно предлагает выполнить вашу работу с помощью компьютера.
Запускайте ИИ-модель размером 105 ГБ на Mac, на котором она не помещается целиком. Qwen3.8-Flash-Next в 4-битном формате загружается потоком с SSD на компьютерах Mac с Apple Silicon и 16–64 ГБ памяти. Полностью нативная реализация на Swift, MLX и Metal. Работает офлайн, без Python. CLI, библиотека Swift и API Ollama/OpenAI/Anthropic. Совместима с Claude Code и Codex.
ИИ на устройстве для Flutter — Gemma и другие большие языковые модели, мультимодальность, вызов функций, эмбеддинги, RAG и речь на Android, iOS, Web, macOS, Windows и Linux.
Swiftlet — это среда выполнения на Swift и Metal, которая запускает большие модели Qwen Mixture-of-Experts локально на устройствах Apple путем потоковой передачи весов экспертов из хранилища, что позволяет запускать модели 35B и 80B с малым объемом оперативной памяти, в том числе на iPhone.
Превратите свой Android-смартфон в совместимый с OpenAI сервер инференса LLM — полностью локальный, приватный и с открытым исходным кодом
PennyWise автоматически читает SMS-сообщения о транзакциях и преобразует их в организованные финансовые данные с помощью ИИ на устройстве. Без ручного ввода, без облачной обработки, полная конфиденциальность.
Локальное управление компьютером на Apple silicon: типизированные решения на устройстве с помощью laya и заполнение форм с помощью CUA-S1-FORMS через API универсального доступа macOS
Запускайте локальные LLM, такие как Gemma, Qwen и LLaMA, на Android для приватного общения и ответов на вопросы в реальном времени без подключения к интернету с помощью LiteRT и ONNX Runtime.