#multimodal-ai Репозитории
Всего репозиториев: 191
VeOmni: Масштабирование обучения моделей любой модальности с помощью распределенного сборника рецептов, ориентированного на модели
Awesome-LLM-3D: тщательно подобранный список мультимодальных больших языковых моделей в 3D-мире Ресурсы
Официальный репозиторий 'Visual-RFT: Visual Reinforcement Fine-Tuning' & 'Visual-ARFT: Visual Agentic Reinforcement Fine-Tuning’
Большой языково-визуальный помощник для биомедицины, созданный для обеспечения мультимодальных возможностей уровня GPT-4.
【LLMs Девятислойная башня демона】Обмен практическим опытом и знаниями LLMs в таких областях, как обработка естественного языка (ChatGLM, Chinese-LLaMA-Alpaca, Xiaoyangtuo Vicuna, LLaMA, GPT4ALL и др.), поиск информации (langchain), синтез речи, распознавание речи, мультимодальные модели (Stable Diffusion, MiniGPT-4, VisualGLM-6B, Ziya-Visual и др.).
Извлекайте структурированные данные и полезные сведения из документов с помощью больших языковых моделей и моделей принятия решений
Официальный репозиторий чата Qwen2-Audio и предварительно обученной большой аудиоязыковой модели, предложенной Alibaba Cloud.
Рецепты для уменьшения, оптимизации и настройки передовых моделей компьютерного зрения. 💜
Архитектура NVIDIA AI Blueprint для поиска и обобщения видео (VSS) представляет собой эталонную архитектуру с ускорением на GPU для создания агентов видеоаналитики с проверенными в реальном времени оповещениями, визуальными вопросами и ответами, а также автоматизированной отчетностью. VSS Blueprint использует модели визуального языка (VLM), такие как NVIDIA Cosmos, LLM, такие как NVIDIA Nemotron, RAG и NVIDIA NIM.
Семантический поиск. Ищите локальные фотографии и видео с помощью естественного языка. ИИ-семантический поиск локальных материалов. Поиск по изображению, поиск локальных материалов, сопоставление сцен по текстовому описанию, поиск видео по кадрам, поиск видео по описанию сцен.
К GPT-4o с открытым исходным кодом, обладающему возможностями зрения, речи и дуплекса.
Chatbot Ollama — это пользовательский интерфейс чата с открытым исходным кодом для Ollama.
EVA OS — мультимодальная операционная система с ИИ (AIOS) реального времени для оборудования нового поколения, позволяющая вашим устройствам «ожить» и стать такими же интеллектуальными, как настоящий мозг.
OpenGUI — это фреймворк Android GUI-агентов для ИИ на смартфонах, способный видеть, планировать и управлять реальными мобильными приложениями через графический интерфейс.
TorchMultimodal — это библиотека PyTorch для обучения передовых мультимодальных многозадачных моделей в большом масштабе.
Высокопроизводительный сервер логического вывода LLM, совместимый с OpenAI и Anthropic, для Apple Silicon. Нативный MLX, непрерывная пакетная обработка, мультимодальные модели, вызовы инструментов MCP и поддержка Claude Code.
Ragflow-Plus — это версия Ragflow вторичной разработки, что делает ее более лаконичной и практичной
Соберите несколько статей о трансформерах для обнаружения и сегментации. Awesome Detection Transformer для компьютерного зрения (CV)
Подборка с наглядным каталогом более чем 200 архитектур моделей «зрение — язык» (VLM/MLLM): статьи, схемы, рецепты обучения, наборы данных и хронология выпусков мультимодальных ИИ-агентов.
Сильный и открытый языковой ассистент с поддержкой зрения для мобильных устройств
📰 Обязательные к прочтению статьи и блоги по спекулятивному декодированию ⚡️
Ваш открытый автономный Android-агент — готовый к производству, самоорганизующийся ИИ-ассистент, работающий на локальных/удаленных LLM и автоматизации экрана на основе доступности.
[ICML'26 & COLM'26] Серия Agent0: Саморазвивающиеся агенты на основе нулевых данных
OpenTSLM: Языковые модели временных рядов для рассуждений над многомерными медицинскими текстовыми данными и данными временных рядов
Официальный репозиторий GitHub для обзорной статьи «A Survey on Diffusion Language Models».