#on-device-ai Репозитории
Откройте для себя 68 активных репозиториев с открытым исходным кодом на GitHub, отмеченных тегом #on-device-ai, с общим числом 183,992 звёзд (в среднем 2,705 на проект). Лидером этой темы является cactus-compute/cactus, набравший 14,864 звёзд.
Всего репозиториев: 69
Агентный интеллект, а также обработка речи и изображений размером менее 50 МБ для потребительских устройств.
Фундаментальные модели, работающие непосредственно на устройстве: 145B на ноутбуке, 35B на телефоне. Латентная MoE, веса, потоково загружаемые с SSD, и маршрутизатор, предсказывающий нагрузку на шаг вперёд. Mac, iPhone, Android, Windows.
Запускайте передовые LLM и VLM локально на устройствах Qualcomm через NPU, GPU и CPU с помощью нескольких строк кода
Этот репозиторий содержит официальную реализацию "FastVLM: Efficient Vision Encoding for Vision Language Models" - CVPR 2025
Инференс Gemma 4 26B-A4B с использованием ~2 ГБ оперативной памяти на любом MacBook серии M
LiteRT-LM — это готовый к промышленному использованию высокопроизводительный фреймворк для вывода с открытым исходным кодом от Google, предназначенный для развертывания больших языковых моделей на периферийных устройствах.
2-битное квантование, ядра и среда выполнения для потребительских устройств.
Ориентированный на человека и учитывающий ресурсы узел Android для периферийных вычислений и федеративного обучения. Координирует распределённый интеллект, обеспечивая локализацию с приоритетом конфиденциальности и бережное управление аппаратными ресурсами.
ИИ под вашим контролем: Выбирайте свои модели. Владейте своими данными. Избегайте привязки к поставщику.
Достигли лимита использования Claude Code? Продолжайте бесплатно и офлайн на локальной модели: Qwen 3.8, Gemma 4 и Qwen 4 уже в день выхода. Работает на Mac с Apple Silicon (MLX), Linux и Windows (llama.cpp) без ключа API. Ваш код остаётся у вас.
Инструмент управления файлами на базе ИИ, который обеспечивает конфиденциальность путем организации локальных текстов и изображений. Используя модели Llama3.2 3B и Llava v1.6 с Nexa SDK, он интуитивно сканирует, реструктурирует и организует файлы для быстрого, беспрепятственного доступа и легкого извлечения.
Mano-P: Агент GUI-VLA с открытым исходным кодом для периферийных устройств. №1 в OSWorld (специализированный, 58,2%). Запускается локально на Apple M4 Mac mini/MacBook — данные не покидают ваше устройство. Mano-P — это проект GUI-VLA с открытым исходным кодом, поддерживающий локальный запуск на Mac mini/MacBook или через вычислительную плату, реализующий операции автоматизации GUI кросс-платформенного уровня, управляемые исключительно зрением. Данные обрабатываются полностью локально, поддерживается планирование и выполнение сложных задач с множеством шагов.
Локальный мультимодальный ИИ в реальном времени с функциями, аналогичными GPT-Live
Готовый к промышленной эксплуатации C++-движок периферийного ИИ для видеоаналитики и VLM на устройстве на платформах Sophon, Rockchip RKNN и x86, с визуальной оркестрацией, экранной графикой OSD в реальном времени, обработкой событий и воспроизводимыми бенчмарками.
Core ML model zoo для iOS/macOS — модели PyTorch, преобразованные в готовые к использованию .mlpackage, каждая из которых включает скрипт конвертации и пример приложения на SwiftUI. Связанные репозитории охватывают фреймворк Core AI от Apple (iOS/macOS 27) и локальные LLM.
Высокопроизводительная библиотека ИИ-инференса на устройстве для React Native с приоритетом конфиденциальности, работающая на основе среды выполнения ExecuTorch от PyTorch
NobodyWho — это механизм вывода, который позволяет вам локально и эффективно запускать LLM на любом устройстве.
Muesli: локальная транскрипция встреч и диктовка для macOS с поддержкой агентов (альтернатива Granola + WisprFlow + Littlebird)
Бесплатный ввод текста голосом с открытым исходным кодом для macOS и Windows. Локальное распознавание речи с помощью Whisper и Parakeet; работает и офлайн.
Локальные типизированные решения Laya на Apple Core ML и Neural Engine. Проверенные порты, короткие решения примерно за 5 мс на M3 Max, а также воспроизводимые бенчмарки скорости и энергопотребления.
Nativ — это локальное приложение с открытым исходным кодом для Mac. Оно запускает открытые ИИ-модели на Apple Silicon, и никакие данные не покидают ваш Mac.
Точно настраивайте LLMs на вашем Mac с Apple Silicon. SFT, DPO, GRPO, Vision, TTS, STT, Embedding и тонкая настройка OCR — нативно на MLX. API, совместимый с Unsloth.
MobileLLM Оптимизация языковых моделей с менее чем миллиардом параметров для использования на устройствах. В ICML 2024.
[ICLR 2019] ProxylessNAS: Прямой поиск архитектуры нейронных сетей для целевой задачи и аппаратного обеспечения
PhoneClaw превращает телефоны в локальные среды выполнения ИИ-агентов с моделями на устройстве, нативными мобильными навыками, LiveLand и опциональным выводом через Mac Gateway.
Практическая лаборатория по созданию, тестированию и оценке приложений с использованием платформы базовых моделей Apple.
PokeClaw (PocketClaw) — первая ИИ на устройстве, которая управляет вашим Android-телефоном. Gemma 4, без облака, без API-ключа. Poke — сокращение от Pocket.
Официальная реализация PyTorch "EdgeSAM: дистилляция с помощью промптов в цикле для развертывания SAM на устройстве"
NativeMind: Ваш полностью приватный, с открытым исходным кодом, локальный ИИ-ассистент
Запускайте MoE-модели, превышающие объём вашей оперативной памяти. MoE передового уровня на телефоне, ноутбуке или edge-устройстве. Без потерь, на стандартном llama.cpp. Адаптивный потоковый оптимизатор. Любое оборудование, любая ОС, любая модель и квантование — через локальный сервер, совместимый с OpenAI.
Стандартное приложение AI PC для создания изображений ИИ, стилизации изображений и чат-бота на ПК с графическим процессором Intel® Arc™.
Системный монитор Apple Silicon без sudo (родной GUI на SwiftUI) с отслеживанием ANE / Media Engine / пропускной способности памяти
[CVPR 2025] Официальная реализация PyTorch "EdgeTAM: On-Device Track Anything Model"
jevos: альтернатива Jev и Microsoft-Decision-1 с открытым исходным кодом. Решения «да/нет», выбор и оценка с вероятностями — на процессоре вашего ноутбука.
Локальный, с открытым исходным кодом ИИ-помощник для ваших данных. Объединяет задачи, заметки, документы, фотографии и закладки. Частный, с возможностью самостоятельного размещения и расширяемый через API.
Оптимизированные модели Whisper для потоковой передачи и использования на устройствах
Общий однофайловый слой памяти для всех ваших агентов, RAG с задержкой менее миллисекунды для текста, фотографий и видео на Apple Silicon. Без сервера. Без API. Один файл. Чистый Swift.
Локальный ИИ-SDK с открытым исходным кодом — запускайте ИИ на устройстве без облака и ключей API. Поддерживает GGUF, RAG, генерацию изображений, музыки и видео, преобразование речи в текст, P2P-инференс и многое другое. Кроссплатформенность: Linux, macOS, Windows, Android, iOS.
Часто задаваемые вопросы
Какой репозиторий по теме #on-device-ai наиболее популярен на GitHub?
Самый высоко оценённый проект с открытым исходным кодом по теме #on-device-ai на GitHub — cactus-compute/cactus, набравший 14,864 звёзд. Агентный интеллект, а также обработка речи и изображений размером менее 50 МБ для потребительских устройств.
Какие языки программирования чаще всего используются в репозиториях по теме #on-device-ai?
Среди наиболее высоко оценённых проектов по теме #on-device-ai на GitHub чаще всего используются языки программирования Python, Swift, C++, TypeScript.
Как рассчитывается рейтинг репозиториев по теме #on-device-ai?
Мы отслеживаем 68 активных репозиториев с открытым исходным кодом, отмеченных тегом #on-device-ai (500 и более звёзд), с общим числом 183,992 звёзд и в среднем 2,705 звёзд на репозиторий. Рейтинги обновляются ежедневно на основе данных GitHub API.