#video-understanding Репозитории
Откройте для себя 51 активных репозиториев с открытым исходным кодом на GitHub, отмеченных тегом #video-understanding, с общим числом 114,089 звёзд (в среднем 2,237 на проект). Лидером этой темы является QwenLM/Qwen3-VL, набравший 20,240 звёзд.
Всего репозиториев: 51
Qwen3-VL — это серия мультимодальных больших языковых моделей, разработанная командой Qwen компании Alibaba Cloud.
PySlowFast: кодовая база для понимания видео от FAIR для воспроизведения передовых моделей видео.
Универсальный мультимодальный набор для оценки задач по тексту, изображениям, видео и аудио
VILA — это семейство передовых моделей визуального языка (VLM) для различных мультимодальных задач искусственного интеллекта на периферии, в центрах обработки данных и в облаке.
Библиотека глубокого обучения для исследований в области понимания видео.
[CVPR2024 Highlight][VideoChatGPT] ChatGPT с пониманием видео! А также многие другие поддерживаемые LM, такие как miniGPT4, StableLM и MOSS.
🔥🔥🔥 [IEEE TCSVT] Последние статьи, коды и наборы данных по Vid-LLMs.
Конвейер генерации данных для создания полуреалистичных синтетических видео с несколькими объектами с богатыми аннотациями, такими как маски сегментации экземпляров, карты глубины и оптический поток.
[ECCV2024] Видеофундаментальные модели и данные для мультимодального понимания
Современные модели CLIP для изображений и видео, мультимодальные большие языковые модели и многое другое!
GLM-4.6V/4.5V/4.1V-Мышление: На пути к универсальному мультимодальному рассуждению с масштабируемым обучением с подкреплением
[ICCV 2019] TSM: Модуль временного сдвига для эффективного понимания видео
[EMNLP2026] «VideoAgent: универсальный агентный фреймворк для понимания, редактирования и переработки видео»
Архитектура NVIDIA AI Blueprint для поиска и обобщения видео (VSS) представляет собой эталонную архитектуру с ускорением на GPU для создания агентов видеоаналитики с проверенными в реальном времени оповещениями, визуальными вопросами и ответами, а также автоматизированной отчетностью. VSS Blueprint использует модели визуального языка (VLM), такие как NVIDIA Cosmos, LLM, такие как NVIDIA Nemotron, RAG и NVIDIA NIM.
Отличные наборы инструментов для понимания видео на основе PaddlePaddle. Он поддерживает инструменты аннотирования видеоданных, легкие модели распознавания действий на основе RGB и скелетов, практические приложения для маркировки видео и обнаружения спортивных действий.
Семейство SALMONN: набор передовых мультимодальных больших языковых моделей (LLM)
Нативная унифицированная мультимодальная модель с 3 миллиардами активных параметров для понимания, генерации и редактирования изображений и видео.
Передовые мультимодальные базовые модели для понимания изображений и видео
awesome grounding: Курированный список исследовательских работ по визуальному grounding
StreamingVLM: Понимание видеопотоков в реальном времени для бесконечных видеопотоков
[ECCV2024] VideoMamba: Пространственно-временная модель для эффективного понимания видео
:fire: :fire: :fire: Список статей по некоторым недавним работам в области компьютерного зрения (CV)
Этот репозиторий предназначен для размещения инструментов и демонстраций для ActivityNet.
[CVPR 2024 Highlight🔥] Chat-UniVi: Объединенное визуальное представление расширяет возможности больших языковых моделей для понимания изображений и видео
Открытые мультимодальные модели принятия решений размером от 0,8B до 27B для работы с текстом, изображениями и видео. Оценивайте собственные варианты с помощью вероятностей и определяйте местоположение с помощью ограничивающих рамок вместо генерации текста. Бесплатный API, ONNX, GGUF, vLLM и SGLang; код для дообучения включён.
Video-R1: Усиление рассуждений о видео в MLLM [🔥 первая статья, исследующая R1 для видео]
Последние работы, основанные на LLM, в области компьютерного зрения и смежные темы. Приветствуются комментарии/вклад!
LLaMA-VID: Изображение стоит 2 токена в больших языковых моделях (ECCV 2024)
Серия моделей с открытыми весами и 11 млрд параметров для понимания длинных и видео в реальном времени
Официальная реализация UnifiedReward и [NeurIPS 2025] UnifiedReward-Think и UnifiedReward-Flex
[CVPR 2023] VideoMAE V2: Масштабирование видеомаскированных автоэнкодеров с двойным маскированием
VideoLLM-online: Онлайн большая языковая модель для потокового видео (CVPR 2024)
Официальный репозиторий для «Vidi: Большие мультимодальные модели для понимания и редактирования видео»
Официальный код для модели Goldfish для понимания длинных видео и MiniGPT4-video для понимания коротких видео
LaVIT: Предоставьте большой языковой модели возможность понимать и генерировать визуальный контент
Дайте ИИ-агентам глаза, уши и проверяемые результаты. Watch Skill превращает видео, аудио и действия на экране в доступные для поиска доказательства с временными метками и подтверждает выполнение работы детерминированными контрактами, а не мнением модели. DeepWatch — рабочее пространство для агентов на базе DeepSeek Harness. Python + npm, MCP, CLI, REST и Web.
Сборник статей, кодов, наборов данных, бенчмарков и ресурсов по мультимодальному рассуждению.
Временное обнаружение действий и Временное обнаружение действий с частичной разметкой и Генерация предложений временных действий
Узлы ComfyUI для моделей зрения-языка: Qwen3-VL, Moondream 3, Florence-2, SmolVLM2, InternVL, Gemma 3, MiniCPM-V. А также обнаружение с открытым словарем, сегментация SAM2/SAM3, временное видео-рассуждение, GGUF через llama.cpp и размещенные API LLM/VLM.
Сториборд с учетом сцен для DeepSeek Harness: от 9 до 16 пронумерованных кадров с временными метками, расшифровкой речи и огибающей аудио, собранных в ОДНО изображение (384 токена). Два инструмента: video_storyboard и video_zoom.
Официальная реализация Pytorch для «DINO-Tracker: Обучение DINO для самообуча отслеживанию точек в одном видео» (ECCV 2024)
Часто задаваемые вопросы
Какой репозиторий по теме #video-understanding наиболее популярен на GitHub?
Самый высоко оценённый проект с открытым исходным кодом по теме #video-understanding на GitHub — QwenLM/Qwen3-VL, набравший 20,240 звёзд. Qwen3-VL — это серия мультимодальных больших языковых моделей, разработанная командой Qwen компании Alibaba Cloud.
Какие языки программирования чаще всего используются в репозиториях по теме #video-understanding?
Среди наиболее высоко оценённых проектов по теме #video-understanding на GitHub чаще всего используются языки программирования Python, Jupyter Notebook, C++, JavaScript.
Как рассчитывается рейтинг репозиториев по теме #video-understanding?
Мы отслеживаем 51 активных репозиториев с открытым исходным кодом, отмеченных тегом #video-understanding (500 и более звёзд), с общим числом 114,089 звёзд и в среднем 2,237 звёзд на репозиторий. Рейтинги обновляются ежедневно на основе данных GitHub API.