#vision-language Репозитории
Откройте для себя 20 активных репозиториев с открытым исходным кодом на GitHub, отмеченных тегом #vision-language, с общим числом 40,771 звёзд (в среднем 2,038 на проект). Лидером этой темы является IDEA-Research/GroundingDINO, набравший 9,509 звёзд.
Всего репозиториев: 20
[ECCV 2024] Официальная реализация статьи "Grounding DINO: Marrying DINO with Grounded Pre-Training for Open-Set Object Detection"
Китайская версия CLIP, которая обеспечивает китайский межмодальный поиск и генерацию представлений.
Код PyTorch для BLIP: Bootstrapping Language-Image Pre-training для унифицированного понимания и генерации изображений и языка
Официальный репозиторий OFA (ICML 2022). Статья: OFA: Unifying Architectures, Tasks, and Modalities Through a Simple Sequence-to-Sequence Learning Framework
Реализация с открытым исходным кодом для тонкой настройки серии Qwen-VL от Alibaba Cloud.
Сборник оригинальных, инновационных идей и алгоритмов для продвинутых литературных машин. Этот проект поддерживается командой OCR в лаборатории языковых технологий Tongyi Lab группы Alibaba.
[ACL 2024 🔥] Video-ChatGPT — это модель видеообщения, способная генерировать осмысленные диалоги о видео. Он сочетает возможности LLM с предварительно обученным визуальным кодером, адаптированным для пространственно-временного представления видео. Мы также представляем строгий «Количественный эталон оценки» для видеооснованных диалоговых моделей.
[ECCV 2024 Oral] DriveLM: Вождение с помощью графовых визуальных ответов на вопросы
Общая модель представления для модальностей зрения, аудио и языка. Статья: ONE-PEACE: Исследование одной общей модели представления для неограниченных модальностей
CALVIN - Эталон для обучения политике с условием языка для задач робототехнической манипуляции с длительным горизонтом
🔥🔥 LLaVA++: Расширение LLaVA с помощью Phi-3 и LLaMA-3 (LLaVA LLaMA-3, LLaVA Phi-3)
Это сторонняя реализация статьи Grounding DINO: Marrying DINO with Grounded Pre-Training for Open-Set Object Detection.
Серия моделей с открытыми весами и 11 млрд параметров для понимания длинных и видео в реальном времени
[ICLR 2024] Управление моделями "зрение-язык" для универсального восстановления изображений. 5-е место в соревновании NTIRE 2024 Restore Any Image Model in the Wild.
🌐 Модели «зрение — язык — действие» для автономного вождения: прошлое, настоящее и будущее
Часто задаваемые вопросы
Какой репозиторий по теме #vision-language наиболее популярен на GitHub?
Самый высоко оценённый проект с открытым исходным кодом по теме #vision-language на GitHub — IDEA-Research/GroundingDINO, набравший 9,509 звёзд. [ECCV 2024] Официальная реализация статьи "Grounding DINO: Marrying DINO with Grounded Pre-Training for Open-Set Object Detection"
Какие языки программирования чаще всего используются в репозиториях по теме #vision-language?
Среди наиболее высоко оценённых проектов по теме #vision-language на GitHub чаще всего используются языки программирования Python, Jupyter Notebook, C++, HTML.
Как рассчитывается рейтинг репозиториев по теме #vision-language?
Мы отслеживаем 20 активных репозиториев с открытым исходным кодом, отмеченных тегом #vision-language (500 и более звёзд), с общим числом 40,771 звёзд и в среднем 2,038 звёзд на репозиторий. Рейтинги обновляются ежедневно на основе данных GitHub API.