#multimodal-ai Репозитории
Всего репозиториев: 191
Этот репозиторий представляет собой первый всеобъемлющий обзор модели Segment Anything (SAM) от Meta AI.
Google Gen AI Go SDK предоставляет разработчикам интерфейс для интеграции генеративных моделей Google в их Go-приложения.
Kimi-VL: Модель Vision-Language Mixture-of-Experts для мультимодального рассуждения, понимания длинного контекста и мощных возможностей агента
что-то вроде Visual-ChatGPT, версия Wenxin Yiyan с открытым исходным кодом
Решение AIGC с открытым исходным кодом для мультимодальных данных на базе ComfyUI + MCP + LLM https://pixelle.ai
Lumina-mGPT 2.0: Автономное авторегрессионное моделирование изображений
ИИ-агент, использующий GPT-4V(ision), способный использовать мышь/клавиатуру для взаимодействия с веб-интерфейсом
[NeurIPS'23 Spotlight] "Mind2Web: Towards a Generalist Agent for the Web" -- первый веб-агент на основе LLM и эталон для универсальных веб-агентов
Официальный стартовый набор для Nano Banana Hackathon. Клонируйте этот репозиторий, чтобы быстро приступить к разработке!
[TPAMI 2026] ConsistentID: Генерация портретов с сохранением идентичности на тонком уровне с использованием мультимодальных данных
Xiaoyao Search: Понимает ваши слова, читает ваши изображения и со вспомогательным ИИ находит любые локальные файлы, делая поиск простым, как общение.
Шаблон для постоянно включенного ИИ-ассистента на базе Deepseek-V3, RealtimeSTT и Typer для инжиниринга
Ресурсы, примеры и учебные пособия по мультимодальному ИИ, RAG и агентам с использованием векторного поиска и LLM
Разверните веб-сайт чата Gemini с поддержкой мультимодальности за 10 секунд, без серверов! Вам понадобится только Gemini API Key, чтобы за 10 секунд развернуть веб-сайт для мультимодального чата Gemini.
Код вывода для статьи «Spirit-LM Interleaved Spoken and Written Language Model».
SEED-Story: Мультимодальная генерация длинных историй с использованием большой языковой модели
Последние работы, основанные на LLM, в области компьютерного зрения и смежные темы. Приветствуются комментарии/вклад!
[NeurIPS 2023] Официальная реализация статьи «Motion-X: A Large-scale 3D Expressive Whole-body Human Motion Dataset»
MiniGPT-4 Китайское развертывание Перевод Уточнение деталей развертывания
Крупнейший в мире репозиторий GitHub для LLM + робототехники
Расширить OpenRLHF для поддержки обучения LMM RL с целью воспроизведения DeepSeek-R1 в мультимодальных задачах.
[Расширенная версия ICLR 2025 Blog Track] Anole: Открытые, авторегрессивные и нативные мультимодальные модели для генерации чередующихся изображений и текста
Официальная реализация алгоритма из статьи ICML'23 "VIMA: Общая манипуляция роботом с использованием мультимодальных подсказок"
Серия моделей с открытыми весами и 11 млрд параметров для понимания длинных и видео в реальном времени
Официальная реализация UnifiedReward и [NeurIPS 2025] UnifiedReward-Think и UnifiedReward-Flex
Cosmos-Transfer1 - это модель переноса «мир-в-мир», разработанная для преодоления разрыва в восприятии между смоделированными и реальными условиями.
[Прекращено обслуживание] Инструмент интеграции диалогов LLM API. Репозиторий оригинального проекта: https://github.com/KouriChat/KouriChat Этот проект был модифицирован и создан iwyxdxl на основе оригинального проекта. Используйте исключительно для обучения, соблюдайте правила, не подключайте к общественным платформам и не используйте в любой производственной деятельности.
💬 Предложение по веб-API для запроса языковых моделей, предоставляемых браузером
MM-EUREKA: Исследование границ мультимодального рассуждения с помощью основанного на правилах обучения с подкреплением
[Официальный репозиторий] Visual Mamba: Обзор и новые перспективы
[ICCV 2023] Официальная реализация статьи "A Simple Framework for Open-Vocabulary Segmentation and Detection"
Узлы, отсоединенные от [ComfyUI Layer Style](https://github.com/chflame163/ComfyUI_LayerStyle), — это в основном те, которые имеют сложные требования к пакетам зависимостей.