#multimodal Репозитории
Всего репозиториев: 183
AI Manus — это универсальная система ИИ-агентов, поддерживающая запуск различных инструментов и выполнение операций в изолированной среде.
AI Manus — это универсальная система ИИ-агентов, поддерживающая запуск различных инструментов и выполнение операций в изолированной среде.
AI Manus — это универсальная система ИИ-агентов, поддерживающая запуск различных инструментов и выполнение операций в изолированной среде песочницы.
Страница проекта «Seg-Zero: Сегментация, управляемая цепочкой рассуждений, с помощью когнитивного подкрепления»
Hunyuan3D-Omni: Единая система для управляемого создания 3D-материалов
👁️ + 💬 + 🎧 = 🤖 Кураторский список лучших фундаментальных и мультимодальных моделей! [Paper + Code + Examples + Tutorials]
В этом репозитории представлены программы для создания кода Retrieval Augmented Generation (RAG) для генеративного ИИ с использованием LlamaIndex, Deep Lake и Pinecone, использующие возможности моделей OpenAI и Hugging Face для генерации и оценки.
Официальная реализация "Blended Latent Diffusion" [SIGGRAPH 2023]
RAI — это независимая от поставщиков агентная платформа для робототехники Physical AI, использующая инструменты ROS 2 для выполнения сложных действий, заданных сценариев, свободного выполнения интерфейса, сводок логов, голосового взаимодействия и многого другого.
Этот репозиторий содержит код оценки для статьи «MMMU: Massive Multi-discipline Multimodal Understanding and Reasoning Benchmark for Expert AGI»
Дайте ИИ-агентам глаза, уши и проверяемые результаты. Watch Skill превращает видео, аудио и действия на экране в доступные для поиска доказательства с временными метками и подтверждает выполнение работы детерминированными контрактами, а не мнением модели. DeepWatch — рабочее пространство для агентов на базе DeepSeek Harness. Python + npm, MCP, CLI, REST и Web.
Создайте автоматизацию браузера, как если бы вы учили человека с помощью GPT-4 Vision.
Сториборд с учетом сцен для DeepSeek Harness: от 9 до 16 пронумерованных кадров с временными метками, расшифровкой речи и огибающей аудио, собранных в ОДНО изображение (384 токена). Два инструмента: video_storyboard и video_zoom.
[ECCV2024] Обоснованная мультимодальная большая языковая модель с локализованной визуальной токенизацией
Официальная реализация "Blended Diffusion для управляемого текстом редактирования естественных изображений" [CVPR 2022]
LLaVA-Mini — это унифицированная большая мультимодальная модель (LMM), которая может эффективно поддерживать понимание изображений, изображений высокого разрешения и видео.
Система самостоятельного кодирования для вашего приложения — Alan AI SDK для React Native
Мультимодальный десктопный агент реального времени, развивающийся в сторону постоянно доступного интерфейса ИИ-операционной системы (0.17 α).
Flame — это мультимодальная система ИИ с открытым исходным кодом, разработанная для преобразования макетов дизайна пользовательского интерфейса в высококачественный код React. Она использует моделирование видения и языка, автоматический синтез данных и структурированные рабочие процессы обучения для преодоления разрыва между дизайном и фронтенд-разработкой.
Официальный код OpenVLHarness: использование инструментов визуальными агентами в реальном мире с мультимодальной памятью
Потрясающее мультимодальное моделирование [Охватывает MLLM, UMM и NMM]
Официальная реализация для "Break-A-Scene: Extracting Multiple Concepts from a Single Image" [SIGGRAPH Asia 2023]
Официальный код «EVF-SAM: Ранняя визуально-языковая фузия для модели Segment Anything с текстовыми подсказками»