#edge-ai Репозитории
Всего репозиториев: 84
Запускайте MoE-модели, превышающие объём вашей оперативной памяти. MoE передового уровня на телефоне, ноутбуке или edge-устройстве. Без потерь, на стандартном llama.cpp. Адаптивный потоковый оптимизатор. Любое оборудование, любая ОС, любая модель и квантование — через локальный сервер, совместимый с OpenAI.
LibreYOLO — это библиотека компьютерного зрения с открытым исходным кодом, лицензированная по MIT
Запустите Kimi K3 локально на процессоре с использованием около 55 ГБ оперативной памяти во время выполнения. Однофайловый сервер логического вывода для Linux на базе cPilot Runtime.
jevos: альтернатива Jev и Microsoft-Decision-1 с открытым исходным кодом. Решения «да/нет», выбор и оценка с вероятностями — на процессоре вашего ноутбука.
Создавайте ИИ-агентов, работающих на 100% на устройстве. Задержка менее 100 мс на NPU Qualcomm. Нулевая зависимость от облака.
:zap: Основанный на низкоэнергетическом, сверхлегком универсальном алгоритме обнаружения целей Yolo, параметр составляет всего 250 тыс., а скорость терминала мобильного смартфона может достигать ~300 кадров в секунду+.
AMD Ryzen™ AI Software включает инструменты и библиотеки времени выполнения для оптимизации и развертывания вывода ИИ на ПК с поддержкой AMD Ryzen™ AI.
DefraDB — это база данных Peer-to-Peer с приоритетом на Edge. Это основная система хранения данных для экосистемы Source.
Прототип локальной LLM для Android 17 с Jetpack Compose и ONNX Runtime для экспериментов с автономным выводом ИИ.
sanoTTS (सानो означает «маленький» на непальском): нейросетевая система синтеза речи с числом параметров от 294 тыс. до 2,27 млн, работающая на чипе за 3 доллара, в браузере или на Python и поддерживающая потоковую передачу с низкой задержкой.
Vui Nano — небольшая контекстно-зависимая модель преобразования текста в речь, обученная на реальных разговорах. 219 млн активных параметров (305 млн всего), лицензия Apache 2.0, клонирование голоса и потоковая передача; работает на CPU (сборка на C без зависимостей). В комплект входит полноценный голосовой ассистент реального времени: WebRTC, ASR, локальная LLM и совместимость с OpenAI Realtime API.
Готовый к производству сквозной набор инструментов для распознавания ключевых слов
Model Zoo Hailo включает предварительно обученные модели и полную среду для сборки и оценки
EfficientSAM3 сжимает SAM3 в легковесные модели, дружелюбные к краю, с помощью прогрессивной дистилляции знаний для быстрой сегментации и отслеживания концепций по промптам.
Простая демонстрация yolov5s, работающего на rk3588/3588s с использованием C++ (около 142 кадров/с). / Простая демонстрация yolov5s, работающего на rk3588/3588s с использованием C++ (около 142 кадров/с).
ИИ на устройстве для Flutter — Gemma и другие большие языковые модели, мультимодальность, вызов функций, эмбеддинги, RAG и речь на Android, iOS, Web, macOS, Windows и Linux.
AI-in-a-Box использует опыт Microsoft по всему миру для разработки и предоставления решений в области ИИ и машинного обучения для технического сообщества. Наше намерение состоит в том, чтобы представить тщательно подобранную коллекцию ускорителей решений, которые могут помочь инженерам быстро и с минимальными усилиями создавать свои среды и решения в области ИИ/МО.
Курированный список отличных ресурсов для edge computing, включая фреймворки, симуляторы, инструменты и т.д.
Платформа анализа документов на базе ИИ с приоритетом локальной обработки для журналистских расследований