#multimodal-ai Репозитории
Всего репозиториев: 191
[🚀 ICLR 2026 Oral] NextStep-1: SOTA автогенерация изображений с использованием непрерывных токенов. Исследовательский проект, разработанный командой StepFun Multimodal Intelligence.
Парсинг данных Twitter, поиск изображений на основе встраивания и многое другое.
Ming — обеспечивает передовые возможности мультимодального понимания и генерации, построенные на базе Ling LLM.
Agentic ADK — это фреймворк для разработки агентских приложений, выпущенный Alibaba International AI Business на базе Google-ADK и Ali-LangEngine.
Местная помощь Ollama и GPT, аналогичная OpenAI, для максимальной конфиденциальности и офлайн-доступа
[CVPR 2024] Panda-70M: Создание подписей для 70 миллионов видео с использованием нескольких кросс-модальных учителей
Фреймворк с открытым исходным кодом для разработки многомодальных разговорных агентов ИИ, работающих в реальном времени.
Курируемая подборка исследовательских работ, посвященных использованию LLM для задач, связанных с графами.
ComfyUI Lumi Batcher — это плагин расширения для пакетной обработки, разработанный для ComfyUI, с целью повышения эффективности отладки рабочих процессов. Традиционные методы отладки требуют пошаговой настройки параметров, в то время как этот инструмент значительно повышает эффективность работы благодаря возможностям пакетной обработки.
Официальная реализация "Lumina-mGPT: Освещение гибкой фотореалистичной генерации изображений по тексту с помощью мультимодального генеративного предварительного обучения"
Узлы ComfyUI для Janus-Pro, унифицированной платформы для мультимодального понимания и генерации.
HART: Эффективная визуальная генерация с помощью гибридного авторегрессионного трансформера
Мы собираем статьи о «больших языковых моделях (LLM) для задач, связанных с таблицами», например, об использовании LLM для задачи Table QA. Сбор статей, связанных с «Таблицей + LLM»
Общайтесь со своими документами с помощью моделей Vision Language. Этот репозиторий реализует сквозной RAG-конвейер как с локальными, так и с проприетарными VLM.
(CVPR 2025 highlight✨) Официальный репозиторий статьи "LLMDet: Learning Strong Open-Vocabulary Object Detectors under the Supervision of Large Language Models"
Официальная реализация кода Vary-toy (Малая языковая модель встречает усиленный визуальный словарь)
Новый метод взаимодействия человека для извлечения речи в реальном времени на наушниках.
Официальный репозиторий для «Glyph: масштабирование контекстных окон с помощью визуально-текстовой компрессии»
Фреймворк, позволяющий донастраивать модели сопряжения "зрение-язык" на пользовательских наборах данных
Преобразовать веб-сервис Claude в API-сервис, поддерживающий распознавание изображений, загрузку файлов, вывод мыслей...
Создание мультимодальной (визуальной) языковой модели с нуля на PyTorch с полным объяснением: https://www.youtube.com/watch?v=vAmKB7iPkWw
[NeurIPS 2023] "Cheap and Quick: Efficient Vision-Language Instruction Tuning for Large Language Models" - Официальные реализации