#mllm Репозитории
Откройте для себя 39 активных репозиториев с открытым исходным кодом на GitHub, отмеченных тегом #mllm, с общим числом 95,941 звёзд (в среднем 2,460 на проект). Лидером этой темы является microsoft/unilm, набравший 22,247 звёзд.
Всего репозиториев: 39
Масштабное самообучающееся предварительное обучение по задачам, языкам и модальностям
[NeurIPS 2025] SpatialLM: Обучение больших языковых моделей для структурированного моделирования помещений
[CVPR'25] Официальные реализации статьи - MagicQuill: Интеллектуальная интерактивная система редактирования изображений
Код и модели для статьи ICML 2024, NExT-GPT: Any-to-Any Мультимодальная большая языковая модель
InternLM-XComposer2.5-OmniLive: Комплексная мультимодальная система для долгосрочного потокового взаимодействия с видео и аудио
mPLUG-DocOwl: Модульное мультимодальное большое языковое модель для понимания документов
Cambrian-1 — это семейство мультимодальных LLM с ориентированным на зрение дизайном.
🚀🚀🚀 Коллекция некоторых потрясающих публичных проектов серии YOLO для обнаружения объектов и связанных наборов данных для обнаружения объектов.
Официальный репозиторий кодовой базы Pixel-LLM: Sa2VA (T-PAMI-26), SAMTok (CVPR-26), VRT (Arxiv-25), SaSaSa2VA (1-е место в решении LSVOS)
Подборка с наглядным каталогом более чем 200 архитектур моделей «зрение — язык» (VLM/MLLM): статьи, схемы, рецепты обучения, наборы данных и хронология выпусков мультимодальных ИИ-агентов.
Полностью открытая структура для демократизированного мультимодального обучения
OpenEMMA, репродукция модели EMMA от Waymo с открытым исходным кодом и разрешительной лицензией.
Серия NEO: Собственные визуально-языковые модели, основанные на первых принципах
[NeurIPS' 2025] JarvisArt: Освобождение человеческого художественного творчества с помощью интеллектуального агента для ретуши фотографий
[CVPR2024] Код для "Osprey: Pixel Understanding with Visual Instruction Tuning"
[NeurIPS 2025] 4KAgent: Agentic Any Image to 4K Super-Resolution. Интеллектуальный агент компьютерного зрения, который может волшебным образом восстановить любое изображение до идеального 4K!
[NeurIPS 2025 spotlight] Официальная реализация "FutureSightDrive: Визуальное мышление с пространственно-временным CoT для автономного вождения"
🚀🚀🚀Сборник некоторых потрясающих общедоступных проектов по большим языковым моделям (LLM), моделям зрения и языка (VLM), действиям зрения и языка (VLA), контенту, созданному ИИ (AIGC), а также связанным наборам данных и приложениям.
Это репозиторий для перечисления статей по генерации и применению графов сцен.
Личный проект: MPP-Qwen14B & MPP-Qwen-Next (Мультимодальный конвейерный параллелизм на основе Qwen-LM). Поддержка [video/image/multi-image] {sft/conversations}. Не позволяйте бедности ограничивать ваше воображение! Обучите свой собственный MLLM, похожий на LLaVA-training, 8B/14B на RTX3090/4090 24GB.
✨✨Woodpecker: Коррекция галлюцинаций для мультимодальных больших языковых моделей
[ICLR 2025] FakeShield: Объяснимое обнаружение и локализация подделки изображений с помощью мультимодальных больших языковых моделей
Emotion-LLaMA: Мультимодальное распознавание и рассуждение об эмоциях с помощью инструктивной настройки
[ICLR2026] Официальная реализация для "JanusVLN: Разделение семантики и пространственности с помощью двойной неявной памяти для навигации в видении-языке"
Узлы ComfyUI для моделей зрения-языка: Qwen3-VL, Moondream 3, Florence-2, SmolVLM2, InternVL, Gemma 3, MiniCPM-V. А также обнаружение с открытым словарем, сегментация SAM2/SAM3, временное видео-рассуждение, GGUF через llama.cpp и размещенные API LLM/VLM.
[ECCV2024] Обоснованная мультимодальная большая языковая модель с локализованной визуальной токенизацией
NeurIPS 2024 Paper: Единая LLM-модель зрения на уровне пикселей для понимания, генерации, сегментации и редактирования
Официальный код OpenVLHarness: использование инструментов визуальными агентами в реальном мире с мультимодальной памятью
Потрясающее мультимодальное моделирование [Охватывает MLLM, UMM и NMM]
🔥🔥🔥 Курируемый список статей о мультимодальной генерации на основе LLM (изображение, видео, 3D и аудио).
Полностью написанный на Rust движок инференса для LLM, VLM, VLA, TTS и OCR на базе Candle и Rust. Альтернатива llama.cpp — гораздо проще и чище.
[Awesome-Spatial-VLMs] Этот репозиторий является официальным ресурсом, поддерживаемым сообществом, для обзорной статьи: Spatial Intelligence in Vision-Language Models: A Comprehensive Survey;
Часто задаваемые вопросы
Какой репозиторий по теме #mllm наиболее популярен на GitHub?
Самый высоко оценённый проект с открытым исходным кодом по теме #mllm на GitHub — microsoft/unilm, набравший 22,247 звёзд. Масштабное самообучающееся предварительное обучение по задачам, языкам и модальностям
Какие языки программирования чаще всего используются в репозиториях по теме #mllm?
Среди наиболее высоко оценённых проектов по теме #mllm на GitHub чаще всего используются языки программирования Python, Jupyter Notebook, Markdown, JavaScript.
Как рассчитывается рейтинг репозиториев по теме #mllm?
Мы отслеживаем 39 активных репозиториев с открытым исходным кодом, отмеченных тегом #mllm (500 и более звёзд), с общим числом 95,941 звёзд и в среднем 2,460 звёзд на репозиторий. Рейтинги обновляются ежедневно на основе данных GitHub API.