#vlm Репозитории
Всего репозиториев: 89
🚀 Библиотека для распределенного обучения Pytorch для LLM/VLM с поддержкой «из коробки» для Hugging Face
Открытые мультимодальные модели принятия решений размером от 0,8B до 27B для работы с текстом, изображениями и видео. Оценивайте собственные варианты с помощью вероятностей и определяйте местоположение с помощью ограничивающих рамок вместо генерации текста. Бесплатный API, ONNX, GGUF, vLLM и SGLang; код для дообучения включён.
Серия NEO: Собственные визуально-языковые модели, основанные на первых принципах
MindSpore + 🤗Huggingface: Запускайте любые модели Transformers/Diffusers на MindSpore с безупречной совместимостью и ускорением.
【Новый режим интеллектуального агента】GPT-ассистент для Android во всех сценариях, вызывается кнопками громкости для голосового взаимодействия, поддерживает подключение к сети, фотографирование, шаблоны, разбор PDF и документов Office, а также режим агента.
UniWorld: Высокоразрешающие семантические кодировщики для унифицированного визуального понимания и генерации
Высокопроизводительный фреймворк для обучения LLM, VLM, диффузионных и воплощённых моделей на GPU NVIDIA и XPU Kunlun. Поддерживает Pi0.5, GR00T-N1.7, FastWAM, Cosmos3, DreamZero, DeepSeek-V4, GLM-5.3, Kimi-K3 и другие модели.
[EMNLP 2026] MobileGym: проверяемая и высокопараллельная платформа симуляции для исследований мобильных GUI-агентов · Android-симулятор в браузере · Проверяемая оценка · Масштабируемое онлайн-обучение с подкреплением (RL)
Серия моделей с открытыми весами и 11 млрд параметров для понимания длинных и видео в реальном времени
Курируемый список статей по 3D-зрению, относящихся к области робототехники в эпоху больших моделей, т. е. LLM/VLM, вдохновленный awesome-computer-vision, включая статьи, коды и связанные веб-сайты
[CVPR 2026🔥] 🧑🎨 OmniLottie, открытый генератор векторных анимаций с мульти‑модальными инструкциями, который генерирует файлы Lottie JSON.
🚀🚀🚀Сборник некоторых потрясающих общедоступных проектов по большим языковым моделям (LLM), моделям зрения и языка (VLM), действиям зрения и языка (VLA), контенту, созданному ИИ (AIGC), а также связанным наборам данных и приложениям.
Универсальная инженерная VLA-платформа для воплощенного ИИ — от данных до развертывания на реальных роботах.
[ECCV 2026] SparkVSR: Интерактивное суперразрешение видео с помощью распространения разреженных ключевых кадров
Этот репозиторий содержит код для "VLM2Vec / MMEB" [ICLR 2025], "VLM2Vec-V2 / MMEB-V2" [TMLR 2026] и "MMEB-V3" [COLM 2026]
Действуйте, опираясь на собственный интеллект: создавайте приложения на Go, напрямую интегрирующие llama.cpp для локального вывода с аппаратным ускорением в Linux, macOS, Windows и WebAssembly.
[CVPR 2024 🔥] GeoChat, первая приземленная большая визуальная языковая модель для дистанционного зондирования
Пакет навыков ИИ-агента для озвучки видео: автоматическая нарезка сцен, анализ изображения для написания текста озвучки, добавление голоса и микширование звука для создания готового видео; экспорт черновиков для Jianying/CapCut, GPU не требуется | Навыки агента для озвученных видеорезюме и черновиков CapCut
🤗 Optimum Intel: Ускорьте вывод с помощью инструментов оптимизации Intel
RAI — это независимая от поставщиков агентная платформа для робототехники Physical AI, использующая инструменты ROS 2 для выполнения сложных действий, заданных сценариев, свободного выполнения интерфейса, сводок логов, голосового взаимодействия и многого другого.
Инструмент Node Creative Coding / 3D / Обработка изображений, вдохновленный Quartz Composer
Масштабирование в играх: продолжение предварительного обучения воплощённых агентов в разнообразных виртуальных мирах. Веса доступны на Hugging Face.
Узлы ComfyUI для моделей зрения-языка: Qwen3-VL, Moondream 3, Florence-2, SmolVLM2, InternVL, Gemma 3, MiniCPM-V. А также обнаружение с открытым словарем, сегментация SAM2/SAM3, временное видео-рассуждение, GGUF через llama.cpp и размещенные API LLM/VLM.
Используйте reMarkable2 как интерфейс для vision-LLMs (ChatGPT, Claude, Gemini). Призрак в машине!
Flame — это мультимодальная система ИИ с открытым исходным кодом, разработанная для преобразования макетов дизайна пользовательского интерфейса в высококачественный код React. Она использует моделирование видения и языка, автоматический синтез данных и структурированные рабочие процессы обучения для преодоления разрыва между дизайном и фронтенд-разработкой.
Потрясающее мультимодальное моделирование [Охватывает MLLM, UMM и NMM]
ScreenAgent: Агент компьютерного управления, управляемый большой языковой моделью визуального языка (IJCAI-24)
🌐 Модели «зрение — язык — действие» для автономного вождения: прошлое, настоящее и будущее
[Awesome-Spatial-VLMs] Этот репозиторий является официальным ресурсом, поддерживаемым сообществом, для обзорной статьи: Spatial Intelligence in Vision-Language Models: A Comprehensive Survey;
Собранный список отличных статей о воплощённом ИИ и связанных с ним исследовательских/промышленно‑ориентированных ресурсах。
🚀🚀🚀 В этом репозитории представлен список отличных публичных проектов, связанных с CUDA, cuda-python, cuBLAS, cuDNN, CUTLASS, TensorRT, TensorRT-LLM, Triton, TVM, MLIR, PTX и высокопроизводительными вычислениями (HPC).