#multimodal-learning Репозитории
Откройте для себя 35 активных репозиториев с открытым исходным кодом на GitHub, отмеченных тегом #multimodal-learning, с общим числом 63,371 звёзд (в среднем 1,810 на проект). Лидером этой темы является apple-aiml-research/ml-ferret, набравший 8,646 звёзд.
Всего репозиториев: 35
Станьте выдающимся исследователем/инженером в области ИИ/МО с помощью этого нестандартного учебника, который охватывает математику, вычисления и машинное обучение на основе интуиции.
Список литературы по темам исследований в мультимодальном машинном обучении
Фреймворк с открытым исходным кодом для обучения больших мультимодальных моделей.
Официальная кодовая база, используемая для разработки Vision Transformer, SigLIP, MLP-Mixer, LiT и других.
Передовые мультимодальные базовые модели для понимания изображений и видео
Официальная реализация для «CLIP4Clip: эмпирическое исследование CLIP для поиска видеоклипов от начала до конца»
Сборник ресурсов по применению мультимодального обучения в медицинской визуализации.
Статьи ICCV 2023-2025: Откройте для себя передовые исследования с ICCV 2023-25, ведущей конференции по компьютерному зрению. Будьте в курсе последних достижений в области компьютерного зрения и глубокого обучения, с включенным кодом. ⭐ Поддержите развитие визуального интеллекта!
SONAR, новое многоязычное и мультимодальное пространство встраивания предложений фиксированного размера с полным набором речевых и текстовых кодировщиков и декодеров.
О скрытой тайне оптического распознавания символов (OCR) в больших мультимодальных моделях (OCRBench)
🍃 MINT-1T: Мультимодальный перемежающийся набор данных, содержащий один триллион токенов.
[CVPR 2023 Highlight & IJCV 2026] GRES: Обобщенная сегментация выражений указания
Мультимодальная модель для текстовых и табличных данных с использованием трансформеров HuggingFace в качестве строительного блока для текстовых данных
[NeurIPS 2021] Многомасштабные эталоны для мультимодального обучения представления
Этот репозиторий содержит код оценки для статьи «MMMU: Massive Multi-discipline Multimodal Understanding and Reasoning Benchmark for Expert AGI»
Куратированный список крутых ресурсов по видению и языку (ещё в процессе строительства... следите за обновлениями!)
Статьи ICASSP 2023-2024: Полная коллекция влиятельных и интересных исследовательских статей с конференций ICASSP 2023-24. Изучите последние достижения в области акустики, речи и обработки сигналов. Код прилагается. Отметьте репозиторий звездочкой, чтобы поддержать развитие обработки аудио и сигналов!
[ICCV 2023 & TPAMI 2025] MeViS: Масштабный бенчмарк для сегментации видео с выражением движения
отслеживание статей, наборов данных и моделей «больших языковых моделей (LLM) для временных рядов»
Часто задаваемые вопросы
Какой репозиторий по теме #multimodal-learning наиболее популярен на GitHub?
Самый высоко оценённый проект с открытым исходным кодом по теме #multimodal-learning на GitHub — apple-aiml-research/ml-ferret, набравший 8,646 звёзд.
Какие языки программирования чаще всего используются в репозиториях по теме #multimodal-learning?
Среди наиболее высоко оценённых проектов по теме #multimodal-learning на GitHub чаще всего используются языки программирования Python, Jupyter Notebook, TypeScript, HTML.
Как рассчитывается рейтинг репозиториев по теме #multimodal-learning?
Мы отслеживаем 35 активных репозиториев с открытым исходным кодом, отмеченных тегом #multimodal-learning (500 и более звёзд), с общим числом 63,371 звёзд и в среднем 1,810 звёзд на репозиторий. Рейтинги обновляются ежедневно на основе данных GitHub API.