#vlm Репозитории
Откройте для себя 89 активных репозиториев с открытым исходным кодом на GitHub, отмеченных тегом #vlm, с общим числом 457,898 звёзд (в среднем 5,144 на проект). Лидером этой темы является huggingface/transformers, набравший 169,339 звёзд.
Всего репозиториев: 89
🤗 Transformers: фреймворк определения моделей для передовых моделей машинного обучения в текстах, зрении, аудио и мультимодальных моделях, как для инференса, так и для обучения.
Многомодальный AI-агентский стек с открытым исходным кодом: Соединение передовых моделей ИИ и инфраструктуры агентов
SGLang — это высокопроизводительный фреймворк для обслуживания больших языковых моделей и мультимодальных моделей.
Проведите обратный инжиниринг любого видео, кадр за кадром: выясните, снято ли оно, сгенерировано ИИ или создано с помощью кода, и узнайте, как его воссоздать. Разборы — в открытом формате VIDEO.md.
https://arxiv.org/abs/2606.28344. Конец веб-парсинга. Начало масштабируемого пиксель-нативного поиска. ссылка: https://pixelrag.ai/
Сборник обучающих материалов по передовым моделям и методам компьютерного зрения. Изучите всё: от фундаментальных архитектур, таких как ResNet, до новейших моделей, таких как RF-DETR, YOLO11, SAM 3 и Qwen3-VL.
Книги, статьи, видео и инструментарии по обнаружению аномалий. Последнее обновление в конце 2025 года для работ по LLM и VLM!
Легко дообучайте (SFT/RL), оценивайте и развёртывайте Qwen, Gemma или любую открытую агентную LLM/VLM!
Запускайте передовые LLM и VLM локально на устройствах Qualcomm через NPU, GPU и CPU с помощью нескольких строк кода
Официальный репозиторий для ERNIE 4.5 и ERNIEKit – его промышленного инструментария разработки на основе PaddlePaddle.
🌟100+ оригинальных схем LLM/RL 📚, творение автора "Больших Модельных Алгоритмов"! 💥 (100+ карт алгоритмов LLM/RL)
StarVector — это базовая модель для генерации SVG, которая преобразует векторизацию в задачу генерации кода. Используя архитектуру моделирования визуального и языкового восприятия, StarVector обрабатывает как визуальные, так и текстовые входные данные для создания высококачественного кода SVG с замечательной точностью.
Универсальный мультимодальный набор для оценки задач по тексту, изображениям, видео и аудио
[CVPR 2026] PromptEnhancer — это инструмент для переписывания промптов, который уточняет промпты в более ясные и структурированные версии для лучшей генерации изображений.
Оптимизированная и настраиваемая структура для эффективной оценки и тестирования производительности больших моделей (LLM, VLM, AIGC).
[MLSys 2024 Best Paper Award] AWQ: Активное квантование весов, осознанное активацией, для сжатия и ускорения LLM
Модель с открытым исходным кодом для разбора документов, обеспечивающая передовые точность и скорость благодаря использованию цикла RSI на этапе постобучения.
Официальный репозиторий MiniMax-Text-01 и MiniMax-VL-01, большая языковая модель и модель зрения-языка на основе линейного внимания
[NeurIPS 2024] OSWorld: Benchmarking Multimodal Agents for Open-Ended Tasks in Real Computer Environments
Skywork-R1V — это передовая серия мультимодальных моделей ИИ, разработанная Skywork AI, специализирующаяся на зрительно-языковом рассуждении.
Платформа навыков открытого AI‑камеры, AI NVR и CCTV‑надзиора. Локальный видеоаналитика VLM с Qwen, DeepSeek, SmolVLM, LLaVA, YOLO26. Агент безопасности камеры с поддержкой LLM — наблюдает, понимает, запоминает и защищает ваш дом через Telegram, Discord или Slack. Подключаемые AI‑навыки. OpenAI, Google, Anthropic или локальный AI. Работает на Mac Mini и AI‑PC.
Инструмент управления файлами на базе ИИ, который обеспечивает конфиденциальность путем организации локальных текстов и изображений. Используя модели Llama3.2 3B и Llava v1.6 с Nexa SDK, он интуитивно сканирует, реструктурирует и организует файлы для быстрого, беспрепятственного доступа и легкого извлечения.
[EMNLP-2024] Создание мультимодальных языковых агентов для быстрого прототипирования и внедрения в производство
Открытое исходное решение и расширение PaperBanana от Google Research для автоматической генерации академических рисунков, диаграмм и визуальных материалов исследований, расширенное на новые области, такие как создание презентационных слайдов.
GLM-4.6V/4.5V/4.1V-Мышление: На пути к универсальному мультимодальному рассуждению с масштабируемым обучением с подкреплением
Фреймворк Cradle — это первая попытка в области Общего Компьютерного Управления (GCC). Cradle поддерживает агентов в выполнении любых компьютерных задач, обеспечивая сильные способности к рассуждению, самосовершенствование и курирование навыков в стандартизированной общей среде с минимальными требованиями.
Фреймворк LLM-агента в ComfyUI включает сервер MCP, Omost, GPT-sovits, ChatTTS, GOT-OCR2.0 и узлы приглашений FLUX, доступ к Feishu, Discord и адаптируется ко всем LLM с интерфейсами, подобными OpenAI/AISuite, таким как o1, ollama, gemini, grok, qwen, GLM, deepseek, kimi, doubao. Адаптировано к локальным LLM, VLM, GGUF, таким как llama-3.3 Janus-Pro, Linkage GraphRAG
Набор инструментов для повторного воспроизведения протокола от начала до конца для подписки ChatGPT Plus/Team/Pro · Визуальный решатель hCaptcha · Эмпирическое исследование механизмов против мошенничества / Набор инструментов для повторного воспроизведения протокола от начала до конца для подписки ChatGPT Plus/Team/Pro с решателем hCaptcha с нуля и эмпирическим исследованием против мошенничества
Готовый к промышленной эксплуатации C++-движок периферийного ИИ для видеоаналитики и VLM на устройстве на платформах Sophon, Rockchip RKNN и x86, с визуальной оркестрацией, экранной графикой OSD в реальном времени, обработкой событий и воспроизводимыми бенчмарками.
Список литературы по безопасности, защищенности и конфиденциальности больших моделей (включая Awesome LLM Security, Safety и т. д.).
Awesome-Jailbreak-on-LLMs — это коллекция передовых, новых, захватывающих методов обхода защиты LLM. Он содержит статьи, коды, наборы данных, оценки и аналитические материалы.
Архитектура NVIDIA AI Blueprint для поиска и обобщения видео (VSS) представляет собой эталонную архитектуру с ускорением на GPU для создания агентов видеоаналитики с проверенными в реальном времени оповещениями, визуальными вопросами и ответами, а также автоматизированной отчетностью. VSS Blueprint использует модели визуального языка (VLM), такие как NVIDIA Cosmos, LLM, такие как NVIDIA Nemotron, RAG и NVIDIA NIM.
Реализация с открытым исходным кодом для тонкой настройки серии Qwen-VL от Alibaba Cloud.
OpenGUI — это фреймворк Android GUI-агентов для ИИ на смартфонах, способный видеть, планировать и управлять реальными мобильными приложениями через графический интерфейс.
Инструментарий для сжатия моделей, разработанный для повышения удобства использования, полноты и эффективности.
Высокопроизводительная библиотека ИИ-инференса на устройстве для React Native с приоритетом конфиденциальности, работающая на основе среды выполнения ExecuTorch от PyTorch
🚀🚀🚀 Коллекция некоторых потрясающих публичных проектов серии YOLO для обнаружения объектов и связанных наборов данных для обнаружения объектов.
Оптимизация конструкции самолётов ускоряется с помощью трансформаций вычислительных графов (например, автоматическая дифференциация). Компонуемые инструменты анализа для аэродинамики, propulsion, конструкций, проектирования траектории и многого другого.
Подборка с наглядным каталогом более чем 200 архитектур моделей «зрение — язык» (VLM/MLLM): статьи, схемы, рецепты обучения, наборы данных и хронология выпусков мультимодальных ИИ-агентов.
JoyCaption — это визуальная языковая модель (VLM) для создания подписей к изображениям, которая изначально создается как бесплатная, открытая и нецензурированная модель для использования сообществом при обучении диффузионных моделей.
Готовый к использованию агент с графическим интерфейсом на основе VLM с открытым исходным кодом
Открытая платформа InternRobotics для создания обобщенных базовых моделей навигации.
Официальная реализация Gamer: универсальная базовая модель «зрение — язык — действие» для игровых агентов реального времени с долгосрочным горизонтом
Самая полная, постоянно обновляемая и самая популярная коллекция из 100+ навыков дистилляции личностей в сети | Мультиагентные системы | Все категории: знаменитости/режиссеры/онлайн-легенды/древние тексты/аниме/рабочее место/эмоции
Часто задаваемые вопросы
Какой репозиторий по теме #vlm наиболее популярен на GitHub?
Самый высоко оценённый проект с открытым исходным кодом по теме #vlm на GitHub — huggingface/transformers, набравший 169,339 звёзд. 🤗 Transformers: фреймворк определения моделей для передовых моделей машинного обучения в текстах, зрении, аудио и мультимодальных моделях, как для инференса, так и для обучения.
Какие языки программирования чаще всего используются в репозиториях по теме #vlm?
Среди наиболее высоко оценённых проектов по теме #vlm на GitHub чаще всего используются языки программирования Python, Jupyter Notebook, TypeScript, Go.
Как рассчитывается рейтинг репозиториев по теме #vlm?
Мы отслеживаем 89 активных репозиториев с открытым исходным кодом, отмеченных тегом #vlm (500 и более звёзд), с общим числом 457,898 звёзд и в среднем 5,144 звёзд на репозиторий. Рейтинги обновляются ежедневно на основе данных GitHub API.