#multimodal-llm Репозитории
Откройте для себя 27 активных репозиториев с открытым исходным кодом на GitHub, отмеченных тегом #multimodal-llm, с общим числом 63,138 звёзд (в среднем 2,338 на проект). Лидером этой темы является anthropics/courses, набравший 22,833 звёзд.
Всего репозиториев: 27
Kimi-Audio, основа фундаментальной модели аудио с открытым исходным кодом, превосходная в понимании, генерации и диалоге аудио
Мультимодальная большая языковая модель с открытым исходным кодом, способная слышать, говорить и думать. Обладает возможностями ведения диалога в режиме реального времени с полным сквозным голосовым вводом и потоковым выводом аудио.
Первая открытая авторегрессионная основополагающая видеомодель с искусственным интеллектом.
OCRFlux — это легкий, но мощный мультимодальный набор инструментов, который значительно усовершенствует преобразование PDF в Markdown, превосходно справляется со сложными макетами, сложным разбором таблиц и объединением содержимого между страницами.
Открытые промышленные модели ASR, поддерживающие мандаринский язык, китайские диалекты и английский язык, достигающие нового уровня SOTA на публичных бенчмарках ASR на мандаринском языке, а также обладающие выдающейся способностью распознавания текстов песен.
WeMM-Embedding — это семейство универсальных мультимодальных моделей эмбеддингов от команды WeChat Vision компании Tencent, поддерживающее мультимодальное понимание и поиск.
AgentCPM-GUI: Внутрисистный графический агент для работы с Android-приложениями, улучшающий способность к рассуждению с помощью тонкой настройки на основе обучения с подкреплением для эффективного выполнения задач.
Подборка с наглядным каталогом более чем 200 архитектур моделей «зрение — язык» (VLM/MLLM): статьи, схемы, рецепты обучения, наборы данных и хронология выпусков мультимодальных ИИ-агентов.
TinyGPT-V: Эффективная мультимодальная большая языковая модель через небольшие основы
VideoLLaMA 2: Развитие пространственно-временного моделирования и понимания звука в Video-LLM
Прозрачная обобщенная модель для целостного медико-визуально-языкового понимания
Video-R1: Усиление рассуждений о видео в MLLM [🔥 первая статья, исследующая R1 для видео]
Официальная реализация статьи «MiniGPT-5: Interleaved Vision-and-Language Generation via Generative Vokens»
Передовая промышленная комплексная система ASR с модулями ASR, VAD, LID и Punc. FireRedASR2 поддерживает китайский (мандарин, 20+ диалектов/акцентов), английский, переключение кодов, а также ASR для речи и пения. FireRedVAD поддерживает речь/пение/музыку на 100+ языках. FireRedLID поддерживает 100+ языков и 20+ китайских диалектов. FireRedPunc поддерживает китайский и английский.
VideoLLM-online: Онлайн большая языковая модель для потокового видео (CVPR 2024)
Реализация на PyTorch "V* : Guided Visual Search as a Core Mechanism in Multimodal LLMs"
Дообучение больших языковых моделей, Qwen2VL, Qwen2, дообучение инструкций GLM4
Была выполнена конкатенированная точная настройка визуальной части SmolVLM2 с моделью Qwen3-0.6B.
LaVIT: Предоставьте большой языковой модели возможность понимать и генерировать визуальный контент
Этот проект исследует интеграцию ChatGPT с WhatsApp, превращая чат-бота в виртуального помощника, способного выполнять такие задачи, как общение с друзьями, ответы на вопросы клиентов и многое другое, добавляя в разговоры нотку гуманизации.
[ICLR2026] VideoChat-Flash: Иерархическое сжатие для моделирования видео с длинным контекстом
Часто задаваемые вопросы
Какой репозиторий по теме #multimodal-llm наиболее популярен на GitHub?
Самый высоко оценённый проект с открытым исходным кодом по теме #multimodal-llm на GitHub — anthropics/courses, набравший 22,833 звёзд. Образовательные курсы Anthropic
Какие языки программирования чаще всего используются в репозиториях по теме #multimodal-llm?
Среди наиболее высоко оценённых проектов по теме #multimodal-llm на GitHub чаще всего используются языки программирования Python, Jupyter Notebook, Markdown, TypeScript.
Как рассчитывается рейтинг репозиториев по теме #multimodal-llm?
Мы отслеживаем 27 активных репозиториев с открытым исходным кодом, отмеченных тегом #multimodal-llm (500 и более звёзд), с общим числом 63,138 звёзд и в среднем 2,338 звёзд на репозиторий. Рейтинги обновляются ежедневно на основе данных GitHub API.