Git Stars Git Stars

#multimodal-large-language-models Репозитории

Откройте для себя 43 активных репозиториев с открытым исходным кодом на GitHub, отмеченных тегом #multimodal-large-language-models, с общим числом 78,032 звёзд (в среднем 1,814 на проект). Лидером этой темы является BradyFU/Awesome-Multimodal-Large-Language-Models, набравший 18,090 звёзд.

43
Всего репозиториев
78,032
Всего звезд
1,814
Среднее количество звезд на репозиторий
Языки программирования: Python Jupyter Notebook HTML C++ TeX

Всего репозиториев: 43

1
BradyFU/Awesome-Multimodal-Large-Language-Models

:sparkles::sparkles:Последние достижения в области мультимодальных больших языковых моделей

BradyFU
⭐ 18,090 👤 BradyFU User 🕐 Обновлено 2026-10-29 📅 Создано 2023-05-19
2
X-PLUG/MobileAgent

Mobile-Agent: Мощное семейство GUI-агентов

X-PLUG
⭐ 9,396 Python 👤 X-PLUG Organization 🕐 Обновлено 2026-11-03 📅 Создано 2024-01-26
3
joanrod/star-vector

StarVector — это базовая модель для генерации SVG, которая преобразует векторизацию в задачу генерации кода. Используя архитектуру моделирования визуального и языкового восприятия, StarVector обрабатывает как визуальные, так и текстовые входные данные для создания высококачественного кода SVG с замечательной точностью.

joanrod
⭐ 4,639 Python 👤 joanrod User 🕐 Обновлено 2025-11-07 📅 Создано 2023-12-11
4
ictnlp/LLaMA-Omni

LLaMA-Omni — это модель сквозного речевого взаимодействия с малой задержкой и высоким качеством, построенная на основе Llama-3.1-8B-Instruct, цель которой — достичь возможностей речи на уровне GPT-4o.

ictnlp
⭐ 3,142 Python 👤 ictnlp Organization 🕐 Обновлено 2025-05-19 📅 Создано 2024-09-10
5
sherlockchou86/VideoPipe

Кроссплатформенный фреймворк для структурирования видео (анализа видео) на основе моделей CV и mLLM.

sherlockchou86
⭐ 2,994 C++ 👤 sherlockchou86 User 🕐 Обновлено 2026-02-25 📅 Создано 2022-08-26
6
VITA-MLLM/VITA

✨✨[NeurIPS 2025] VITA-1.5: На пути к взаимодействию зрения и речи в реальном времени уровня GPT-4o

VITA-MLLM
⭐ 2,512 Python 👤 VITA-MLLM Organization 🕐 Обновлено 2025-03-28 📅 Создано 2024-08-10
7
X-PLUG/mPLUG-DocOwl

mPLUG-DocOwl: Модульное мультимодальное большое языковое модель для понимания документов

X-PLUG
⭐ 2,407 Python 👤 X-PLUG Organization 🕐 Обновлено 2025-05-30 📅 Создано 2023-07-04
8
cambrian-mllm/cambrian

Cambrian-1 — это семейство мультимодальных LLM с ориентированным на зрение дизайном.

cambrian-mllm
⭐ 2,013 Python 👤 cambrian-mllm Organization 🕐 Обновлено 2025-11-07 📅 Создано 2024-06-17
9
YangLing0818/RPG-DiffusionMaster

[ICML 2024] Освоение диффузии «текст в изображение»: переописание, планирование и генерация с помощью мультимодальных LLM (RPG)

YangLing0818
⭐ 1,841 Jupyter Notebook 👤 YangLing0818 User 🕐 Обновлено 2025-02-01 📅 Создано 2024-01-22
10
ByteDance-Seed/Seed1.5-VL

Seed1.5-VL, фундаментальная модель обработки изображений и языка, разработанная для продвижения общего мультимодального понимания и рассуждений, достигающая передовых результатов по 38 из 60 общедоступных эталонных тестов.

ByteDance-Seed
⭐ 1,581 Jupyter Notebook 👤 ByteDance-Seed Organization 🕐 Обновлено 2025-06-14 📅 Создано 2025-05-11
11
Osilly/Vision-R1

[ICLR2026] Это первая работа, исследующая, как эффективно использовать RL, похожий на R1, для MLLMs, и представившая Vision‑R1, модель MLLM с возможностью рассуждений, использующую холодную инициализацию и обучение RL для стимулирования способности к рассуждению.

Osilly
⭐ 1,558 Python 👤 Osilly User 🕐 Обновлено 2026-03-20 📅 Создано 2025-02-03
12
EvolvingLMMs-Lab/open-r1-multimodal

Форк для добавления обучения мультимодальным моделям в open-r1

EvolvingLMMs-Lab
⭐ 1,556 Python 👤 EvolvingLMMs-Lab Organization 🕐 Обновлено 2025-02-08 📅 Создано 2025-01-27
13
ATH-MaaS/Ovis

Новая архитектура мультимодальной большой языковой модели (MLLM), разработанная для структурного согласования визуальных и текстовых вложений.

ATH-MaaS
⭐ 1,536 Python 👤 ATH-MaaS Organization 🕐 Обновлено 2026-07-15 📅 Создано 2024-06-13
14
Sun-Haoyuan23/Awesome-RL-based-Reasoning-MLLMs

Этот репозиторий предоставляет ценные справочные материалы для исследователей в области мультимодальности, начните свое исследовательское путешествие по RL-основанным MLLM для рассуждений!

Sun-Haoyuan23
⭐ 1,449 👤 Sun-Haoyuan23 User 🕐 Обновлено 2026-09-29 📅 Создано 2025-02-21
15
Henry-23/VideoChat

Цифровой человек с голосовым взаимодействием в реальном времени, с настраиваемой внешностью и голосом, поддерживающий клонирование голоса, с задержкой диалога до 3 секунд.

Henry-23
⭐ 1,333 Python 👤 Henry-23 User 🕐 Обновлено 2025-12-18 📅 Создано 2024-10-18
16
ATH-MaaS/Awesome-Unified-Multimodal-Models

Потрясающие унифицированные мультимодальные модели

ATH-MaaS
⭐ 1,325 👤 ATH-MaaS Organization 🕐 Обновлено 2026-03-24 📅 Создано 2025-05-07
17
NVIDIA/audio-flamingo

Реализация Audio Flamingo на PyTorch: серия продвинутых языковых моделей для понимания аудио

NVIDIA
⭐ 1,224 👤 NVIDIA Organization 🕐 Обновлено 2025-12-15 📅 Создано 2024-05-20
18
yfzhang114/Awesome-Multimodal-Large-Language-Models

Заметки для чтения о мультимодальных больших языковых моделях, больших языковых моделях и диффузионных моделях

yfzhang114
⭐ 1,211 👤 yfzhang114 User 🕐 Обновлено 2026-11-07 📅 Создано 2024-03-30
19
X-LANCE/SLAM-LLM

Фреймворк для обработки речи, языка, аудио и музыки с помощью больших языковых моделей

X-LANCE
⭐ 1,072 Python 👤 X-LANCE Organization 🕐 Обновлено 2026-01-15 📅 Создано 2023-10-23
20
BAAI-DCAI/Bunny

Семейство легких мультимодальных моделей.

BAAI-DCAI
⭐ 1,049 Python 👤 BAAI-DCAI User 🕐 Обновлено 2024-11-18 📅 Создано 2024-01-31
21
yaotingwangofficial/Awesome-MCoT

Мультимодальное рассуждение цепочкой мыслей: всесторонний обзор

yaotingwangofficial
⭐ 1,030 TeX 👤 yaotingwangofficial User 🕐 Обновлено 2026-10-03 📅 Создано 2025-02-15
22
richard-peng-xia/awesome-multimodal-in-medical-imaging

Сборник ресурсов по применению мультимодального обучения в медицинской визуализации.

richard-peng-xia
⭐ 986 👤 richard-peng-xia User 🕐 Обновлено 2026-10-26 📅 Создано 2022-07-13
23
daixiangzi/Awesome-Token-Compress

Список статей о некоторых недавних работах по сжатию токенов для Vit и VLM

daixiangzi
⭐ 966 👤 daixiangzi User 🕐 Обновлено 2026-11-13 📅 Создано 2024-09-06
24
EvolvingLMMs-Lab/NEO

Серия NEO: Собственные визуально-языковые модели, основанные на первых принципах

EvolvingLMMs-Lab
⭐ 931 Python 👤 EvolvingLMMs-Lab Organization 🕐 Обновлено 2026-11-11 📅 Создано 2025-10-16
25
MME-Benchmarks/Video-MME

✨✨[CVPR 2025] Video-MME: Первая в истории комплексная эталонная оценка мультимодальных LLM в видеоанализе

MME-Benchmarks
⭐ 805 👤 MME-Benchmarks Organization 🕐 Обновлено 2025-12-08 📅 Создано 2024-06-02
27
LLaVA-VL/LLaVA-Plus-Codebase

LLaVA-Plus: Большие языковые и визуальные помощники, которые подключаются и учатся использовать навыки

LLaVA-VL
⭐ 763 Python 👤 LLaVA-VL Organization 🕐 Обновлено 2024-02-01 📅 Создано 2023-11-07
28
vision-x-nyu/thinking-in-space

Официальный репозиторий и реализация оценки VSI-Bench

vision-x-nyu
⭐ 734 Python 👤 vision-x-nyu Organization 🕐 Обновлено 2025-08-05 📅 Создано 2024-12-14
29
deepglint/unicom

Крупномасштабная модель визуального представления

deepglint
⭐ 704 Python 👤 deepglint Organization 🕐 Обновлено 2025-12-08 📅 Создано 2023-02-15
30
wenhaochai/MovieChat

[CVPR 2024] MovieChat: От плотных токенов к разреженной памяти для понимания длинных видео

wenhaochai
⭐ 698 Python 👤 wenhaochai User 🕐 Обновлено 2025-01-29 📅 Создано 2023-06-26
31
NVlabs/OmniVinci

OmniVinci — это омнимодальная LLM для совместного понимания зрения, аудио и языка.

NVlabs
⭐ 683 Python 👤 NVlabs Organization 🕐 Обновлено 2026-08-31 📅 Создано 2025-09-24
32
Coobiw/MPP-LLaVA

Личный проект: MPP-Qwen14B & MPP-Qwen-Next (Мультимодальный конвейерный параллелизм на основе Qwen-LM). Поддержка [video/image/multi-image] {sft/conversations}. Не позволяйте бедности ограничивать ваше воображение! Обучите свой собственный MLLM, похожий на LLaVA-training, 8B/14B на RTX3090/4090 24GB.

Coobiw
⭐ 678 Jupyter Notebook 👤 Coobiw User 🕐 Обновлено 2025-03-10 📅 Создано 2023-10-24
33
FoundationVision/Liquid

(Принято IJCV)Liquid: Языковые модели являются масштабируемыми и унифицированными мультимодальными генераторами

FoundationVision
⭐ 642 Python 👤 FoundationVision Organization 🕐 Обновлено 2026-06-01 📅 Создано 2024-12-12
34
VITA-MLLM/Woodpecker

✨✨Woodpecker: Коррекция галлюцинаций для мультимодальных больших языковых моделей

VITA-MLLM
⭐ 642 Python 👤 VITA-MLLM Organization 🕐 Обновлено 2024-12-23 📅 Создано 2023-09-26
35
lwpyh/Awesome-MLLM-Reasoning-Collection

Сборник статей, кодов, наборов данных, бенчмарков и ресурсов по мультимодальному рассуждению.

lwpyh
⭐ 598 👤 lwpyh User 🕐 Обновлено 2026-04-01 📅 Создано 2025-03-16
36
yfzhang114/Thyme

✨✨ [ICLR 2026] Думай за пределами изображений

yfzhang114
⭐ 585 Python 👤 yfzhang114 User 🕐 Обновлено 2025-09-23 📅 Создано 2025-08-17
37
SkyworkAI/Vitron

NeurIPS 2024 Paper: Единая LLM-модель зрения на уровне пикселей для понимания, генерации, сегментации и редактирования

SkyworkAI
⭐ 578 Python 👤 SkyworkAI Organization 🕐 Обновлено 2024-10-20 📅 Создано 2024-03-18
38
ictnlp/LLaVA-Mini

LLaVA-Mini — это унифицированная большая мультимодальная модель (LMM), которая может эффективно поддерживать понимание изображений, изображений высокого разрешения и видео.

ictnlp
⭐ 575 Python 👤 ictnlp Organization 🕐 Обновлено 2025-06-29 📅 Создано 2025-01-07
39
cambrian-mllm/cambrian-s

Cambrian-S: К пространственной суперчувствительности в видео

cambrian-mllm
⭐ 573 Python 👤 cambrian-mllm Organization 🕐 Обновлено 2026-04-03 📅 Создано 2025-10-13
40
AILab-CVC/SEED-X

Мультимодальные модели в реальном мире

AILab-CVC
⭐ 560 Jupyter Notebook 👤 AILab-CVC Organization 🕐 Обновлено 2025-02-24 📅 Создано 2024-03-30
41
YingqingHe/Awesome-LLMs-meet-Multimodal-Generation

🔥🔥🔥 Курируемый список статей о мультимодальной генерации на основе LLM (изображение, видео, 3D и аудио).

YingqingHe
⭐ 550 HTML 👤 YingqingHe User 🕐 Обновлено 2026-11-10 📅 Создано 2023-11-17
42
worldbench/awesome-vla-for-ad

🌐 Модели «зрение — язык — действие» для автономного вождения: прошлое, настоящее и будущее

worldbench
⭐ 530 HTML 👤 worldbench Organization 🕐 Обновлено 2026-11-14 📅 Создано 2025-09-07
43
hustvl/EVF-SAM

Официальный код «EVF-SAM: Ранняя визуально-языковая фузия для модели Segment Anything с текстовыми подсказками»

hustvl
⭐ 500 Python 👤 hustvl Organization 🕐 Обновлено 2025-03-17 📅 Создано 2024-06-12

Часто задаваемые вопросы

1

Какой репозиторий по теме #multimodal-large-language-models наиболее популярен на GitHub?

Самый высоко оценённый проект с открытым исходным кодом по теме #multimodal-large-language-models на GitHub — BradyFU/Awesome-Multimodal-Large-Language-Models, набравший 18,090 звёзд. :sparkles::sparkles:Последние достижения в области мультимодальных больших языковых моделей

2

Какие языки программирования чаще всего используются в репозиториях по теме #multimodal-large-language-models?

Среди наиболее высоко оценённых проектов по теме #multimodal-large-language-models на GitHub чаще всего используются языки программирования Python, Jupyter Notebook, HTML, C++.

3

Как рассчитывается рейтинг репозиториев по теме #multimodal-large-language-models?

Мы отслеживаем 43 активных репозиториев с открытым исходным кодом, отмеченных тегом #multimodal-large-language-models (500 и более звёзд), с общим числом 78,032 звёзд и в среднем 1,814 звёзд на репозиторий. Рейтинги обновляются ежедневно на основе данных GitHub API.