#multimodal Repositorios
183 repositorios en total
InternLM-XComposer2.5-OmniLive: Un sistema multimodal completo para interacciones de audio y video en streaming a largo plazo
La capa de contexto para datos no estructurados: conjuntos de datos tipados y versionados sobre S3, GCS, Azure
Imágenes para inferencia sin etiquetado (utilice modelos fundacionales para entrenar modelos supervisados).
Calcule fácilmente incrustaciones (embeddings) de clips y cree un sistema de recuperación de clips con ellas
Optimizar el proceso de ajuste fino para modelos multimodales: PaliGemma 2, Florence-2 y Qwen2.5-VL
Recursos integrales sobre IA generativa, que incluyen una hoja de ruta detallada, proyectos, casos de uso, preparación para entrevistas y preparación de codificación.
[EMNLP-2024] Construcción de agentes de lenguaje multimodal para prototipos rápidos y producción
Repositorio oficial de OFA (ICML 2022). Paper: OFA: Unifying Architectures, Tasks, and Modalities Through a Simple Sequence-to-Sequence Learning Framework
HuixiangDou: Superación de escenarios de chat grupal con asistencia técnica basada en LLM
Una colección seleccionada de artículos, benchmarks, revisiones y herramientas sobre la cuantización de modelos, que abarca redes de pocos bits, LLM, modelos multimodales y generativos, cuantización vectorial y de retícula, y despliegue eficiente.
(ෆ`꒳´ෆ) Una encuesta sobre la generación/síntesis de texto a imagen.
SDK para interactuar con las API de stability.ai (por ejemplo, inferencia de difusión estable)
Roubao 2.0 para iPhone: agente de IA de iOS de código abierto con control de la interfaz de Micro-X autorizado por el propietario, modelos personalizados, tareas reanudables e informes PDF. No requiere Wi-Fi, jailbreak, ordenador ni hardware adicional durante el uso (para la configuración se necesita un Mac y un cable USB). Se mantiene la versión heredada para Android.
[ECCV2024] Modelos Fundamentales de Video y Datos para la Comprensión Multimodal
🎨 NeMo Data Designer: Genera datos sintéticos de alta calidad desde cero o desde datos semilla.
mPLUG-DocOwl: Modelo de lenguaje grande multimodal modularizado para la comprensión de documentos
Permite que Claude (o cualquier LLM) realmente vea un video: fotogramas con detección de escenas y sin duplicados + transcripción, desde una URL o archivo local. Se ejecuta localmente, MIT.
GenAI Processors es una biblioteca Python ligera que permite el procesamiento de contenido eficiente y paralelo.
IA multimodal en tiempo real y en el dispositivo con funciones similares a GPT-Live
[ICLR & NeurIPS 2025] Repositorio para la serie Show-o, un único Transformer para unificar la comprensión y generación multimodales.
Una implementación de código abierto para ajustar la serie Qwen-VL de Alibaba Cloud.
Implementación de "BitNet: Escalado de transformadores de 1 bit para modelos de lenguaje grandes" en PyTorch
Entorno de ejecución de alto rendimiento para servir sistemas de superinteligencia interactivos
Una colección de ideas y algoritmos originales e innovadores para Maquinaria Literaria Avanzada. Este proyecto es mantenido por el Equipo OCR en el Language Technology Lab, Tongyi Lab, Alibaba Group.
WeMM-Embedding es una familia de modelos universales de incrustación multimodal desarrollados por el equipo de WeChat Vision de Tencent, que admite la comprensión y recuperación multimodal.
El sistema de autoscodificación para tu aplicación — Alan AI SDK para Flutter
Los agentes de backend se construyen con: base de datos multimodal, orquestación y servicio en un solo archivo
El sistema de autocodificación para tu aplicación — Alan AI SDK para Ionic
Una novedosa arquitectura de Modelo de Lenguaje Grande Multimodal (MLLM), diseñada para alinear estructuralmente incrustaciones visuales y textuales.
Obtenga datos limpios de documentos complicados, impulsados por modelos de visión y lenguaje ⚡
Otorga a Claude la capacidad de ver y comprender videos — complemento Claude Code con extracción de fotogramas y análisis multimodal de audio
Xtreme1 es una plataforma todo en uno de etiquetado y anotación de datos para entrenamiento de datos multimodales y admite nubes de puntos 3D LiDAR, imágenes y LLM.
Este repositorio es la implementación oficial de Disentangling Writer and Character Styles for Handwriting Generation (CVPR 2023)
Catálogo visual seleccionado de más de 200 arquitecturas de modelos de visión y lenguaje (VLM/MLLM): artículos, diagramas, recetas de entrenamiento, conjuntos de datos y una cronología de lanzamientos de agentes de IA multimodales.
Motor de inferencia sin conexión para arte, conversaciones de voz en tiempo real, chatbots impulsados por LLM y flujos de trabajo automatizados
Visión para agentes de DeepSeek Harness que solo trabajan con texto: cadena de visión gratuita integrada (sin clave) + herramientas de visión a nivel de píxel (preguntas y respuestas, grounding, recorte, diferencia de píxeles, colores, OCR, trazado SVG, recorte de objetos y capturas de pantalla). Instalación con un solo comando, sin Python; los turnos con imágenes funcionan como los turnos normales de llamada a herramientas.
Diseñe un mejor kit de herramientas y habilidades visuales para que los modelos de solo texto "vean" imágenes, admitiendo comprensión de múltiples imágenes, preguntas y respuestas sobre imágenes, restauración de UI frontend, automatización de GUI, etc., con integración opcional y sin problemas con múltiples agentes principales, y reconocimiento directo de imágenes pegadas | Un kit de herramientas y habilidades visuales diseñado para LLM de solo texto: preguntas y respuestas sobre imágenes, OCR de capturas de pantalla largas, restauración de UI frontend y automatización de GUI, con integración opcional y sin problemas para Codex, Claude Code, Pi, Oh My Pi y OpenCode
Entrenamiento e inferencia distribuidos para la percepción multimodal: embeddings compartidos para texto, imágenes, vídeo, audio, código y grafos, de 64 a 1024 dimensiones 🖼️
Servidor MCP Multi-AI - Conecta ChatGPT, Claude, Gemini y Perplexity a tus herramientas de codificación sin ninguna API