#multimodal-ai Репозитории
Откройте для себя 191 активных репозиториев с открытым исходным кодом на GitHub, отмеченных тегом #multimodal-ai, с общим числом 589,873 звёзд (в среднем 3,088 на проект). Лидером этой темы является anthropics/claude-cookbooks, набравший 54,935 звёзд.
Всего репозиториев: 191
Коллекция блокнотов/рецептов, демонстрирующих некоторые интересные и эффективные способы использования Claude.
Настольное приложение с открытым исходным кодом для локальных LLM. Поддержка текста, зрения, вызова инструментов, API, совместимого с OpenAI/Anthropic. 100% конфиденциально.
Галерея, демонстрирующая примеры использования ML/GenAI на устройстве и позволяющая пользователям пробовать и использовать модели локально.
Qwen3-VL — это серия мультимодальных больших языковых моделей, разработанная командой Qwen компании Alibaba Cloud.
🚀 Полностью открытая ИИ-платформа (цифровой аватар/человек) для офлайн-генерации видео и клонирования цифровых людей.
Фундаментальные модели для передовой речевой и текстовой трансляции
Комплексный набор инструментов для высококачественного извлечения содержимого PDF
Qwen-Image — это мощная базовая модель для генерации изображений, способная выполнять сложное рендеринг текста и точное редактирование изображений.
Адаптер подсказок изображений разработан для того, чтобы предварительно обученная диффузионная модель преобразования текста в изображение могла генерировать изображения с подсказками изображений.
Демонстрация веб-камеры в реальном времени с SmolVLM и сервером llama.cpp
Официальный шлюз и каталог моделей Agnes AI для рабочих процессов с текстом, изображениями, видео и агентами, совместимыми с OpenAI.
DeepSeek-VL2: Модели «смесь экспертов» (Mixture-of-Experts) для обработки изображений и текста для углубленного мультимодального понимания
Hunyuan-DiT: Мощный многорезолюционный диффузионный трансформер с детализированным пониманием китайского языка
OmniGen2: Исследование в области продвинутой мультимодальной генерации. https://arxiv.org/abs/2506.18871
Python SDK Google Gen AI предоставляет разработчикам интерфейс для интеграции генеративных моделей Google в их Python-приложения.
Qwen2.5-Omni — это комплексная мультимодальная модель от команды Qwen компании Alibaba Cloud, способная понимать текст, аудио, изображения, видео и выполнять генерацию речи в реальном времени.
Официальная реализация «Мультимодальное рассуждение по цепочке мыслей в языковых моделях» (оставайтесь на связи, скоро будет больше обновлений)
Nano Banana (nanobanana), GPT-5 (GPT5), GPT-4o (GPT4o) Промпты для изображений, Промпты Nanobanana, промпты nanobanana
FlagAI (Fast LArge-scale General AI models) - это быстрый, простой в использовании и расширяемый набор инструментов для масштабных моделей.
В репозитории представлен код для выполнения инференса с помощью модели Meta Segment Anything Audio Model (SAM-Audio), ссылки для загрузки обученных контрольных точек модели и примеры ноутбуков, демонстрирующие, как использовать модель.
Моя супер-коллекция креативных идей для игры nano-banana! Постоянно обновляется!
Система диалогового цифрового аватара - Linly-Talker. 😄✨ Linly-Talker — это интеллектуальная система ИИ, которая объединяет большие языковые модели (LLM) с моделями визуализации для создания нового метода взаимодействия человека и ИИ. 🤝🤖 Она интегрирует различные технологии, такие как Whisper, Linly, Microsoft Speech Services и систему генерации говорящих голов SadTalker. 🌟🔬
🔥🔥🔥 [IEEE TCSVT] Последние статьи, коды и наборы данных по Vid-LLMs.
Holistic Evaluation of Language Models (HELM) — это фреймворк Python с открытым исходным кодом, созданный Центром исследований фундаментальных моделей (CRFM) в Стэнфорде для целостной, воспроизводимой и прозрачной оценки фундаментальных моделей, включая большие языковые модели (LLM) и мультимодальные модели.
Mano-P: Агент GUI-VLA с открытым исходным кодом для периферийных устройств. №1 в OSWorld (специализированный, 58,2%). Запускается локально на Apple M4 Mac mini/MacBook — данные не покидают ваше устройство. Mano-P — это проект GUI-VLA с открытым исходным кодом, поддерживающий локальный запуск на Mac mini/MacBook или через вычислительную плату, реализующий операции автоматизации GUI кросс-платформенного уровня, управляемые исключительно зрением. Данные обрабатываются полностью локально, поддерживается планирование и выполнение сложных задач с множеством шагов.
[NeurIPS 2025] OmniSVG — это первое семейство сквозных мультимодальных генераторов SVG, использующих предварительно обученные модели зрения и языка (VLM), способных генерировать сложные и детализированные SVG, от простых значков до замысловатых аниме-персонажей.
Сборник ПОТРЯСАЮЩИХ вещей о графо-ориентированных больших языковых моделях (Graph-Related LLMs).
Библиотека OCR для преобразования документов в Markdown с помощью Llama 3.2 vision
Современные модели CLIP для изображений и видео, мультимодальные большие языковые модели и многое другое!
Часто задаваемые вопросы
Какой репозиторий по теме #multimodal-ai наиболее популярен на GitHub?
Самый высоко оценённый проект с открытым исходным кодом по теме #multimodal-ai на GitHub — anthropics/claude-cookbooks, набравший 54,935 звёзд. Коллекция блокнотов/рецептов, демонстрирующих некоторые интересные и эффективные способы использования Claude.
Какие языки программирования чаще всего используются в репозиториях по теме #multimodal-ai?
Среди наиболее высоко оценённых проектов по теме #multimodal-ai на GitHub чаще всего используются языки программирования Python, Jupyter Notebook, JavaScript, Kotlin.
Как рассчитывается рейтинг репозиториев по теме #multimodal-ai?
Мы отслеживаем 191 активных репозиториев с открытым исходным кодом, отмеченных тегом #multimodal-ai (500 и более звёзд), с общим числом 589,873 звёзд и в среднем 3,088 звёзд на репозиторий. Рейтинги обновляются ежедневно на основе данных GitHub API.