#multimodal Репозитории
Всего репозиториев: 183
InternLM-XComposer2.5-OmniLive: Комплексная мультимодальная система для долгосрочного потокового взаимодействия с видео и аудио
Контекстный слой для неструктурированных данных: типизированные, версионированные наборы данных поверх S3, GCS, Azure
Изображения для вывода без разметки (используйте базовые модели для обучения моделей с учителем).
Легко вычисляйте вложения клипов и создавайте с их помощью систему поиска по клипам.
Оптимизация процесса тонкой настройки для мультимодальных моделей: PaliGemma 2, Florence-2 и Qwen2.5-VL
Исчерпывающие ресурсы по генеративному ИИ, включая подробную дорожную карту, проекты, примеры использования, подготовку к собеседованию и подготовку к программированию.
[EMNLP-2024] Создание мультимодальных языковых агентов для быстрого прототипирования и внедрения в производство
Официальный репозиторий OFA (ICML 2022). Статья: OFA: Unifying Architectures, Tasks, and Modalities Through a Simple Sequence-to-Sequence Learning Framework
HuixiangDou: Преодоление сценариев группового чата с помощью технической поддержки на основе LLM
Подборка статей, бенчмарков, обзорных материалов и инструментов по квантованию моделей, охватывающая низкоразрядные сети, LLM, мультимодальные и генеративные модели, векторное и решёточное квантование, а также эффективное развертывание.
SDK для взаимодействия с API stability.ai (например, вывод Stable Diffusion)
Roubao 2.0 для iPhone: ИИ-агент с открытым исходным кодом для iOS, поддерживающий управление интерфейсом Micro-X с разрешения владельца, пользовательские модели, возобновляемые задачи и PDF-отчёты. Для работы не нужны Wi-Fi, джейлбрейк, компьютер или дополнительное оборудование (для настройки необходимы Mac и USB). Старая версия для Android сохранена.
[ECCV2024] Видеофундаментальные модели и данные для мультимодального понимания
🎨 NeMo Data Designer: Генерируйте высококачественные синтетические данные с нуля или из seed-данных.
mPLUG-DocOwl: Модульное мультимодальное большое языковое модель для понимания документов
Позвольте Claude (или любой LLM) действительно посмотреть видео — кадры с учетом сцен, без дубликатов + расшифровка, из URL или локального файла. Работает локально, MIT.
GenAI Processors — это легковесная библиотека Python, обеспечивающая эффективную параллельную обработку контента.
Локальный мультимодальный ИИ в реальном времени с функциями, аналогичными GPT-Live
[ICLR & NeurIPS 2025] Репозиторий для серии Show-o, единый трансформер для унификации мультимодального понимания и генерации.
Реализация с открытым исходным кодом для тонкой настройки серии Qwen-VL от Alibaba Cloud.
Реализация "BitNet: Масштабирование 1-битных трансформеров для больших языковых моделей" на PyTorch
Высокопроизводительная среда выполнения для обслуживания интерактивных систем сверхинтеллекта
Сборник оригинальных, инновационных идей и алгоритмов для продвинутых литературных машин. Этот проект поддерживается командой OCR в лаборатории языковых технологий Tongyi Lab группы Alibaba.
WeMM-Embedding — это семейство универсальных мультимодальных моделей эмбеддингов от команды WeChat Vision компании Tencent, поддерживающее мультимодальное понимание и поиск.
Система самостоятельного кодирования для вашего приложения — Alan AI SDK для Android
Бэкенд-агенты создаются с мультимодальной базой данных, оркестрацией и обслуживанием в одном файле
Мультимодальная структура обучения с подкреплением для моделей диффузии и омни
Новая архитектура мультимодальной большой языковой модели (MLLM), разработанная для структурного согласования визуальных и текстовых вложений.
Дайте Клоду возможность просматривать и понимать видео — плагин Claude Code с извлечением кадров и мультимодальным аудиоанализом
Xtreme1 — это универсальная платформа для разметки и аннотирования данных для обучения мультимодальным данным, поддерживающая 3D LiDAR облака точек, изображения и LLM.
Этот репозиторий является официальной реализацией работы Disentangling Writer and Character Styles for Handwriting Generation (CVPR 2023)
Подборка с наглядным каталогом более чем 200 архитектур моделей «зрение — язык» (VLM/MLLM): статьи, схемы, рецепты обучения, наборы данных и хронология выпусков мультимодальных ИИ-агентов.
Автономный движок вывода для искусства, голосовых разговоров в реальном времени, чат-ботов на базе LLM и автоматизированных рабочих процессов
Зрение для текстовых агентов DeepSeek Harness: встроенная бесплатная цепочка компьютерного зрения (ключ не нужен) + инструменты зрения на уровне пикселей (вопросы и ответы, привязка объектов, обрезка, разница пикселей, цвета, OCR, трассировка SVG, вырезание объектов, снимки экрана). Установка одной командой, Python не требуется; ходы с изображениями работают так же, как обычные ходы с вызовами инструментов.
Разработайте лучший набор визуальных инструментов и навыков для текстовых моделей, чтобы они могли «видеть» изображения, поддерживая понимание нескольких изображений, вопросы и ответы по изображениям, восстановление пользовательского интерфейса фронтенда, автоматизацию графического интерфейса и т. д., с возможностью бесшовной интеграции с несколькими основными агентами и прямым распознаванием вставленных изображений | Набор визуальных инструментов и навыков, разработанный для текстовых LLM: вопросы и ответы по изображениям, OCR длинных скриншотов, восстановление пользовательского интерфейса фронтенда и автоматизация графического интерфейса, с возможностью бесшовной интеграции для Codex, Claude Code, Pi, Oh My Pi и OpenCode
Распределённое обучение и инференс для мультимодального восприятия: общие эмбеддинги для текста, изображений, видео, аудио, кода и графов размерностью от 64 до 1024 🖼️
Сервер MCP Multi-AI - Подключите ChatGPT, Claude, Gemini и Perplexity к вашим инструментам для кодирования без каких-либо API
Базовая модель, которая генерирует синхронизированные видео и аудио в рамках одной модели