#vision-language-model Репозитории
Всего репозиториев: 82
[dsh] Более мощный набор визуальных инструментов, разработанный для текстовых моделей: установка и использование одной строкой, распознавание изображений непосредственно после вставки, вопросы и ответы по нескольким изображениям, восстановление интерфейса frontend по скриншоту и многое другое|Нативная интеграция DeepSeek Harness для agent-vision-toolkit: вопросы и ответы по изображениям, OCR длинных скриншотов, восстановление UI, grounding, попиксельное сравнение, Artifacts и Web UI.
[CVPR 2024 Highlight🔥] Chat-UniVi: Объединенное визуальное представление расширяет возможности больших языковых моделей для понимания изображений и видео
Открытые мультимодальные модели принятия решений размером от 0,8B до 27B для работы с текстом, изображениями и видео. Оценивайте собственные варианты с помощью вероятностей и определяйте местоположение с помощью ограничивающих рамок вместо генерации текста. Бесплатный API, ONNX, GGUF, vLLM и SGLang; код для дообучения включён.
О проекте Этот репозиторий представляет собой тщательно подобранную коллекцию самых захватывающих и влиятельных статей CVPR 2025. 🔥 [Paper + Code + Demo]
[NeurIPS 2025 Spotlight] OpenCUA: Открытые основы для агентов использования компьютера
Серия моделей с открытыми весами и 11 млрд параметров для понимания длинных и видео в реальном времени
🍃 MINT-1T: Мультимодальный перемежающийся набор данных, содержащий один триллион токенов.
Курируемый список статей по 3D-зрению, относящихся к области робототехники в эпоху больших моделей, т. е. LLM/VLM, вдохновленный awesome-computer-vision, включая статьи, коды и связанные веб-сайты
VoxPoser: Компонуемые 3D-карты значений для манипуляций роботами с использованием языковых моделей
Курируемый список отличных методов обучения подсказок/адаптеров для моделей "зрение-язык", таких как CLIP.
[ICLR 2026] Официальная реализация "Soft-Prompted Transformer as Scalable Cross-Embodiment Vision-Language-Action Model"
Преобразуйте документы в формат Markdown, готовый для ИИ, с помощью визуального распознавания
OmniVinci — это омнимодальная LLM для совместного понимания зрения, аудио и языка.
Двуязычные (китайский + английский) шпаргалки для собеседований по ML / LLM / diffusion / agent в рамках осеннего набора специалистов по ИИ — созданы с помощью ARIS /interview-cheatsheet и преобразованы посредством /render-html в одnofайловый HTML, который можно читать где угодно, — а также генератор академических домашних страниц с проверкой фактов по CV→DBLP и самостоятельно написанные блоги большого объёма 🌱
[CVPR 2026] SpatialVID: Крупномасштабный видеодатасет с пространственными аннотациями
🎉 PILOT: Инструментарий для непрерывного обучения на основе предварительно обученных моделей
Оценка моделей преобразования текста в изображение/видео/3D с помощью VQAScore
Успешная интеграция серии Qwen3-VL-Instruct в платформу ComfyUI позволила обеспечить плавную работу, поддерживая (но не ограничиваясь) запросы на основе текста, запросы к видео, запросы к одному изображению и запросы к нескольким изображениям для генерирования подписей или ответов.
[ECCV2024] Обоснованная мультимодальная большая языковая модель с локализованной визуальной токенизацией
LLaVA-Mini — это унифицированная большая мультимодальная модель (LMM), которая может эффективно поддерживать понимание изображений, изображений высокого разрешения и видео.
Flame — это мультимодальная система ИИ с открытым исходным кодом, разработанная для преобразования макетов дизайна пользовательского интерфейса в высококачественный код React. Она использует моделирование видения и языка, автоматический синтез данных и структурированные рабочие процессы обучения для преодоления разрыва между дизайном и фронтенд-разработкой.
Chatbot Arena встречает мультимодальность! Multi-Modality Arena позволяет вам сравнивать модели зрения-языка бок о бок, предоставляя изображения в качестве входных данных. Поддерживает MiniGPT-4, LLaMA-Adapter V2, LLaVA, BLIP-2 и многие другие!
Код и рекомендации по реализации для статьи ✨Counting Anything. Страница проекта: https://mengqi-lei.github.io/count-anything-projectpage/
[Awesome-Spatial-VLMs] Этот репозиторий является официальным ресурсом, поддерживаемым сообществом, для обзорной статьи: Spatial Intelligence in Vision-Language Models: A Comprehensive Survey;
Обучение с подкреплением на основе моделей мира для многошаговых VLM-агентов. Фреймворк обучения с подкреплением для задач компьютерного зрения (NeurIPS 2025).
Полный список отличных научных статей, моделей, наборов данных и других ресурсов по моделям Vision‑Language‑Action (VLA) в робототехнике.