#multimodal-large-language-models Репозитории
Откройте для себя 43 активных репозиториев с открытым исходным кодом на GitHub, отмеченных тегом #multimodal-large-language-models, с общим числом 78,032 звёзд (в среднем 1,814 на проект). Лидером этой темы является BradyFU/Awesome-Multimodal-Large-Language-Models, набравший 18,090 звёзд.
Всего репозиториев: 43
:sparkles::sparkles:Последние достижения в области мультимодальных больших языковых моделей
StarVector — это базовая модель для генерации SVG, которая преобразует векторизацию в задачу генерации кода. Используя архитектуру моделирования визуального и языкового восприятия, StarVector обрабатывает как визуальные, так и текстовые входные данные для создания высококачественного кода SVG с замечательной точностью.
LLaMA-Omni — это модель сквозного речевого взаимодействия с малой задержкой и высоким качеством, построенная на основе Llama-3.1-8B-Instruct, цель которой — достичь возможностей речи на уровне GPT-4o.
Кроссплатформенный фреймворк для структурирования видео (анализа видео) на основе моделей CV и mLLM.
✨✨[NeurIPS 2025] VITA-1.5: На пути к взаимодействию зрения и речи в реальном времени уровня GPT-4o
mPLUG-DocOwl: Модульное мультимодальное большое языковое модель для понимания документов
Cambrian-1 — это семейство мультимодальных LLM с ориентированным на зрение дизайном.
[ICML 2024] Освоение диффузии «текст в изображение»: переописание, планирование и генерация с помощью мультимодальных LLM (RPG)
Seed1.5-VL, фундаментальная модель обработки изображений и языка, разработанная для продвижения общего мультимодального понимания и рассуждений, достигающая передовых результатов по 38 из 60 общедоступных эталонных тестов.
[ICLR2026] Это первая работа, исследующая, как эффективно использовать RL, похожий на R1, для MLLMs, и представившая Vision‑R1, модель MLLM с возможностью рассуждений, использующую холодную инициализацию и обучение RL для стимулирования способности к рассуждению.
Форк для добавления обучения мультимодальным моделям в open-r1
Новая архитектура мультимодальной большой языковой модели (MLLM), разработанная для структурного согласования визуальных и текстовых вложений.
Этот репозиторий предоставляет ценные справочные материалы для исследователей в области мультимодальности, начните свое исследовательское путешествие по RL-основанным MLLM для рассуждений!
Цифровой человек с голосовым взаимодействием в реальном времени, с настраиваемой внешностью и голосом, поддерживающий клонирование голоса, с задержкой диалога до 3 секунд.
Реализация Audio Flamingo на PyTorch: серия продвинутых языковых моделей для понимания аудио
Заметки для чтения о мультимодальных больших языковых моделях, больших языковых моделях и диффузионных моделях
Фреймворк для обработки речи, языка, аудио и музыки с помощью больших языковых моделей
Сборник ресурсов по применению мультимодального обучения в медицинской визуализации.
Список статей о некоторых недавних работах по сжатию токенов для Vit и VLM
Серия NEO: Собственные визуально-языковые модели, основанные на первых принципах
✨✨[CVPR 2025] Video-MME: Первая в истории комплексная эталонная оценка мультимодальных LLM в видеоанализе
LLaVA-Plus: Большие языковые и визуальные помощники, которые подключаются и учатся использовать навыки
[CVPR 2024] MovieChat: От плотных токенов к разреженной памяти для понимания длинных видео
OmniVinci — это омнимодальная LLM для совместного понимания зрения, аудио и языка.
Личный проект: MPP-Qwen14B & MPP-Qwen-Next (Мультимодальный конвейерный параллелизм на основе Qwen-LM). Поддержка [video/image/multi-image] {sft/conversations}. Не позволяйте бедности ограничивать ваше воображение! Обучите свой собственный MLLM, похожий на LLaVA-training, 8B/14B на RTX3090/4090 24GB.
(Принято IJCV)Liquid: Языковые модели являются масштабируемыми и унифицированными мультимодальными генераторами
✨✨Woodpecker: Коррекция галлюцинаций для мультимодальных больших языковых моделей
Сборник статей, кодов, наборов данных, бенчмарков и ресурсов по мультимодальному рассуждению.
NeurIPS 2024 Paper: Единая LLM-модель зрения на уровне пикселей для понимания, генерации, сегментации и редактирования
LLaVA-Mini — это унифицированная большая мультимодальная модель (LMM), которая может эффективно поддерживать понимание изображений, изображений высокого разрешения и видео.
🔥🔥🔥 Курируемый список статей о мультимодальной генерации на основе LLM (изображение, видео, 3D и аудио).
🌐 Модели «зрение — язык — действие» для автономного вождения: прошлое, настоящее и будущее
Официальный код «EVF-SAM: Ранняя визуально-языковая фузия для модели Segment Anything с текстовыми подсказками»
Часто задаваемые вопросы
Какой репозиторий по теме #multimodal-large-language-models наиболее популярен на GitHub?
Самый высоко оценённый проект с открытым исходным кодом по теме #multimodal-large-language-models на GitHub — BradyFU/Awesome-Multimodal-Large-Language-Models, набравший 18,090 звёзд. :sparkles::sparkles:Последние достижения в области мультимодальных больших языковых моделей
Какие языки программирования чаще всего используются в репозиториях по теме #multimodal-large-language-models?
Среди наиболее высоко оценённых проектов по теме #multimodal-large-language-models на GitHub чаще всего используются языки программирования Python, Jupyter Notebook, HTML, C++.
Как рассчитывается рейтинг репозиториев по теме #multimodal-large-language-models?
Мы отслеживаем 43 активных репозиториев с открытым исходным кодом, отмеченных тегом #multimodal-large-language-models (500 и более звёзд), с общим числом 78,032 звёзд и в среднем 1,814 звёзд на репозиторий. Рейтинги обновляются ежедневно на основе данных GitHub API.