#multimodal Репозитории
Откройте для себя 183 активных репозиториев с открытым исходным кодом на GitHub, отмеченных тегом #multimodal, с общим числом 700,629 звёзд (в среднем 3,828 на проект). Лидером этой темы является Mintplex-Labs/anything-llm, набравший 68,480 звёзд.
Всего репозиториев: 183
Перестаньте арендовать свой интеллект. Владейте им с AnythingLLM. Все, что нужно для мощного локального агентского опыта
«Глубокое понимание AI-агентов: принципы проектирования и инженерная практика» (автор: Боцзе Ли) Основной репозиторий с открытым исходным кодом: полный текст книги, скомпилированный PDF-файл и сопутствующий код по главам.
Многомодальный AI-агентский стек с открытым исходным кодом: Соединение передовых моделей ИИ и инфраструктуры агентов
[NeurIPS'23 Oral] Visual Instruction Tuning (LLaVA) был создан для обеспечения возможностей уровня GPT-4V и выше.
YC (S26) | Screenpipe находит работу, которую стоит автоматизировать | Непрерывно записывайте работу за компьютером локально, выявляйте повторяющиеся рабочие процессы и передавайте результат любому агенту, которым вы уже пользуетесь.
Масштабное самообучающееся предварительное обучение по задачам, языкам и модальностям
Используйте PEFT или обучение всех параметров для выполнения CPT/SFT/DPO/GRPO на более чем 600 LLM (Qwen3.8, DeepSeek-V4, GLM-5.1, InternLM3, Llama4 и др.) и более чем 300 MLLM (Qwen3-VL, Qwen3-Omni, InternVL3.5, Ovis2.5, GLM5.3, Gemma4, LLaVA, Phi4 и др.) (AAAI 2025).
🔍Практическое применение разработки больших моделей, Часть 1: Полное руководство по технологии RAG, адрес для онлайн-чтения: https://datawhalechina.github.io/all-in-rag/
Визуализируйте, запрашивайте и транслируйте данные для обучения мультимодальных робототехнических систем.
https://arxiv.org/abs/2606.28344. Конец веб-парсинга. Начало масштабируемого пиксель-нативного поиска. ссылка: https://pixelrag.ai/
Библиотека Python для обнаружения аномалий в табличных данных, временных рядах, графах, текстах, изображениях и аудио. Включает более 60 детекторов, оркестрацию ADEngine на основе бенчмарков и агентный рабочий процесс для ИИ-агентов.
SeaTunnel — это мультимодальный, высокопроизводительный, распределённый инструмент интеграции больших данных.
Deeplake — это AI Data Runtime для агентов. Она предоставляет бессерверный Postgres с мультимодальным хранилищем данных, обеспечивая масштабируемый поиск и обучение.
Самый простой способ обслуживания AI-приложений и моделей - Создавайте API вывода моделей, очереди заданий, приложения LLM, конвейеры с несколькими моделями и многое другое!
Библиотека преобразования текста в речь (TTS), речи в текст (STT) и речи в речь (STS), построенная на базе фреймворка MLX от Apple, обеспечивающая эффективный анализ речи на Apple Silicon.
Фреймворк для эффективной инференции модели с использованием омнимодальных моделей
Открытая платформа для создания агентных приложений на JavaScript, Go, Dart и Python, созданная и используемая в производстве компанией Google
Ищите на компьютере по содержимому файлов: фотографиям, PDF, документам, записям, видео и коду. Работает локально на Mac, Windows и Linux и создано на базе EmbeddingGemma 2 от Google DeepMind.
Заметки для инженеров-программистов, которые осведомляются о новых разработках в области ИИ. Служит хранилищем данных для материалов сайта https://latent.space и мозгового штурма по продуктам, но содержит очищенные канонические ссылки в папке /Resources.
Этот репозиторий представляет собой тщательно подобранную коллекцию ссылок на различные курсы и ресурсы по искусственному интеллекту (ИИ)
Высокопроизводительный движок данных для рабочих нагрузок ИИ и мультимодальных систем. Обрабатывайте изображения, аудио, видео и структурированные данные в любом масштабе.
Визуальная площадка для рабочих процессов агентов: итерируйте по своим агентам в 10 раз быстрее
Модульный фреймворк для мультимодальных исследований в области зрения и языка от Facebook AI Research (FAIR)
Первый плагин зрения для DeepSeek Harness и мост зрения для каждого текстового кодирующего агента. Вставьте изображение, получите структурированные JSON-данные (OCR, макет, семантика).
Plug and Play реализация "Дерева Мыслей": Осознанное решение проблем с помощью больших языковых моделей, повышающее способность модели к рассуждению минимум на 70%
Универсальный мультимодальный набор для оценки задач по тексту, изображениям, видео и аудио
Легко превратите большие наборы URL-адресов изображений в набор данных изображений. Можно загрузить, изменить размер и упаковать 100 миллионов URL за 20 часов на одной машине.
Курируемые учебные пособия и ресурсы по большим языковым моделям, AI-рисования и многому другому.
Семейство моделей с открытым исходным кодом для синтеза длинноформатной речи, синтеза диалогов, дизайна голоса, звуковых эффектов и потокового TTS в реальном времени
Fengshenbang-LM (封神榜大模型) — это система больших моделей с открытым исходным кодом, разработанная Исследовательским центром когнитивных вычислений и обработки естественного языка Института IDEA, которая служит инфраструктурой для китайского AIGC и когнитивного интеллекта.
[ICML'26] SimpleMem: эффективная долговременная память для LLM-агентов — текст и мультимодальность
Код и модели для статьи ICML 2024, NExT-GPT: Any-to-Any Мультимодальная большая языковая модель
🤖 Типобезопасный, независимый от провайдера TypeScript AI SDK для потокового чата, вызова инструментов, агентов и мультимодальных приложений с поддержкой OpenAI, Anthropic, Gemini, React, Vue, Svelte и Solid.
Расширяемая современная платформа для колоночной компрессии и самый быстрый FOSS формат колоночных файлов. Ранее в @spiraldb, теперь проект на стадии инкубации в LFAI&Data, часть Linux Foundation.
[NeurIPS 2024] OSWorld: Benchmarking Multimodal Agents for Open-Ended Tasks in Real Computer Environments
InternGPT (iGPT) — это демонстрационная платформа с открытым исходным кодом, где вы можете легко демонстрировать свои модели ИИ. Теперь она поддерживает DragGAN, ChatGPT, ImageBind, мультимодальный чат, такой как GPT-4, SAM, интерактивное редактирование изображений и т. д. Попробуйте на igpt.opengvlab.com (онлайн-демосистема с поддержкой DragGAN, ChatGPT, ImageBind, SAM).
Часто задаваемые вопросы
Какой репозиторий по теме #multimodal наиболее популярен на GitHub?
Самый высоко оценённый проект с открытым исходным кодом по теме #multimodal на GitHub — Mintplex-Labs/anything-llm, набравший 68,480 звёзд. Перестаньте арендовать свой интеллект. Владейте им с AnythingLLM. Все, что нужно для мощного локального агентского опыта
Какие языки программирования чаще всего используются в репозиториях по теме #multimodal?
Среди наиболее высоко оценённых проектов по теме #multimodal на GitHub чаще всего используются языки программирования Python, TypeScript, Rust, C++.
Как рассчитывается рейтинг репозиториев по теме #multimodal?
Мы отслеживаем 183 активных репозиториев с открытым исходным кодом, отмеченных тегом #multimodal (500 и более звёзд), с общим числом 700,629 звёзд и в среднем 3,828 звёзд на репозиторий. Рейтинги обновляются ежедневно на основе данных GitHub API.