#multimodal Репозитории
Всего репозиториев: 183
Система самостоятельного кодирования для вашего приложения — Alan AI SDK для Cordova
Набор данных WIT (Wikipedia-based Image Text) представляет собой большой мультимодальный многоязычный набор данных, включающий более 37 миллионов пар изображений и текстов с более чем 11 миллионами уникальных изображений на более чем 100 языках.
[ICLR'24 spotlight] Серия китайско-английских мультимодальных больших моделей (Чат и Рисование) | Серия двуязычных китайско-английских мультимодальных больших моделей на основе базовой модели CPM
[Кандидат на лучшую статью ECCV 2024 и TPAMI 2025] PointLLM: Предоставление масштабным языковым моделям возможности понимать облака точек
Общая модель представления для модальностей зрения, аудио и языка. Статья: ONE-PEACE: Исследование одной общей модели представления для неограниченных модальностей
🩺 Первая китайская медицинская мультимодальная модель, способная резюмировать рентгенограммы грудной клетки.
Корпоративная платформа рабочих процессов генеративного ИИ, удобная для агентов и людей и ориентированная на модальности
Мультимодальное рассуждение цепочкой мыслей: всесторонний обзор
Официальная реализация для «CLIP4Clip: эмпирическое исследование CLIP для поиска видеоклипов от начала до конца»
Ресурсы, примеры и учебные пособия по мультимодальному ИИ, RAG и агентам с использованием векторного поиска и LLM
Открытые мультимодальные модели принятия решений размером от 0,8B до 27B для работы с текстом, изображениями и видео. Оценивайте собственные варианты с помощью вероятностей и определяйте местоположение с помощью ограничивающих рамок вместо генерации текста. Бесплатный API, ONNX, GGUF, vLLM и SGLang; код для дообучения включён.
Серия NEO: Собственные визуально-языковые модели, основанные на первых принципах
⚡ Самостоятельно хостящийся решатель CAPTCHA, совместимый с YesCaptcha, построенный на FastAPI, Playwright и мультимодальных моделях, совместимых с OpenAI.
О проекте Этот репозиторий представляет собой тщательно подобранную коллекцию самых захватывающих и влиятельных статей CVPR 2025. 🔥 [Paper + Code + Demo]
Единая мультимодальная языковая модель на основе моделирования дискретных последовательностей
Локальный мониторинг + ИИ-видение — Фреймворк мониторинга на базе ИИ, работающий на смартфонах в сети LAN, со структурированным выводом событий для сбора и анализа данных.
Halo — это фреймворк с открытым исходным кодом, разработанный White Circle для обучения больших языковых и мультимодальных моделей
Серия моделей с открытыми весами и 11 млрд параметров для понимания длинных и видео в реальном времени
Простой, унифицированный механизм обучения мультимодальных моделей. Легкий, гибкий и созданный для масштабных разработок.
Локальный плагин для чатов с большим количеством изображений в Codex, Claude Code и других ИИ-агентах: предыдущие изображения заменяются короткими заполнителями, а не отправляются с каждым сообщением; модель получает оригинал по его ID (в том числе после компактизации), а кэш промптов продолжает работать.
[TMLR 2025🔥] Обзор авторегрессионных моделей в компьютерном зрении.
библиотека, поддерживающая исследования в области НЛП и компьютерного зрения в научных статьях
Список статей по мультимодальным и большим языковым моделям, используется только для записи статей, которые я читаю в ежедневном arxiv, для личных нужд.
Paddle Multimodal Integration and eXploration, поддерживающая основные мультимодальные задачи, включая полномасштабные мультимодальные модели предварительного обучения и набор инструментов для диффузионных моделей. Обладает высокой производительностью и гибкостью.
Преобразуйте документы в формат Markdown, готовый для ИИ, с помощью визуального распознавания
Открытая модель для понимания речи, звуков окружающей среды и музыки посредством создания описаний, ответов на вопросы и рассуждений
Этот репозиторий содержит код для "VLM2Vec / MMEB" [ICLR 2025], "VLM2Vec-V2 / MMEB-V2" [TMLR 2026] и "MMEB-V3" [COLM 2026]
[ECCV 2024] InstructIR: Высококачественное восстановление изображений по инструкциям человека https://huggingface.co/spaces/marcosv/InstructIR
Second Brain — это агентная платформа, которая выступает в роли операционной системы, используя локальную файловую интеллектуальность, автоматизацию рабочих процессов и LLMs для выполнения задач и общения через несколько модальностей и платформ обмена сообщениями.
Универсальный Agent Skill для создания голографических карточек — работает с любым хостом и мультимодальной моделью. По одному предложению создаёт веб-страницу с 3D-карточками, которые можно перетаскивать и вращать, с переливами света и многослойной глубиной. В комплекте — редактируемый проект Blender.
Нативный .NET-движок инференса больших языковых моделей (LLM) и среда выполнения агентов для моделей GGUF. TensorSharp предоставляет консольное приложение, веб-интерфейс чат-бота, приложение для iPhone, а также совместимые с Ollama/OpenAI HTTP API для программного доступа. Поддерживаются Windows, macOS, iOS и Linux с полноценной поддержкой GPU.
AI Manus — это универсальная система ИИ-агентов, поддерживающая запуск различных инструментов и выполнение операций в изолированной среде.
Асинхронный движок обучения с подкреплением для полномодального пост-обучения в больших масштабах
AI Manus — это универсальная система ИИ-агентов, поддерживающая запуск различных инструментов и выполнение операций в изолированной среде.
AI Manus — это универсальная система ИИ-агентов, поддерживающая запуск различных инструментов и выполнение операций в изолированной среде.
✨✨Последние статьи и бенчмарки в области рассуждений с использованием фундаментальных моделей
AI Manus — это универсальная система ИИ-агентов, поддерживающая запуск различных инструментов и выполнение операций в изолированной среде.
AI Manus — это универсальная система ИИ-агентов, поддерживающая запуск различных инструментов и выполнение операций в изолированной среде.
AI Manus — это универсальная система ИИ-агентов, поддерживающая запуск различных инструментов и выполнение операций в изолированной среде.
AI Manus — это универсальная система ИИ-агентов, поддерживающая запуск различных инструментов и выполнение операций в изолированной среде.
AI Manus — это универсальная система ИИ-агентов, поддерживающая запуск различных инструментов и выполнение операций в изолированной среде.
AI Manus — это универсальная система ИИ-агентов, поддерживающая запуск различных инструментов и выполнение операций в изолированной среде.
AI Manus — это универсальная система ИИ-агентов, поддерживающая запуск различных инструментов и выполнение операций в изолированной среде.
AI Manus — это универсальная система ИИ-агентов, поддерживающая запуск различных инструментов и выполнение операций в изолированной среде.
AI Manus — это универсальная система ИИ-агентов, поддерживающая запуск различных инструментов и выполнение операций в изолированной среде.