#multimodal-ai Repositorios
191 repositorios en total
[🚀 ICLR 2023 Oral] NextStep-1: SOTA Autogressive Imagen Generación con Tokens Continuos. Proyecto de investigación desarrollado por el equipo de Inteligencia Multimodal de StepFun.
Extracción de datos de Twitter, búsqueda de imágenes basada en incrustaciones y más.
Ming: facilita capacidades avanzadas de comprensión y generación multimodal construidas sobre el Ling LLM.
Agentic ADK es un framework de desarrollo de aplicaciones de agentes lanzado por Alibaba International AI Business, basado en Google-ADK y Ali-LangEngine.
Asistencia local de Ollama y GPT similar a OpenAI para máxima privacidad y acceso sin conexión
[CVPR 2024] Panda-70M: Subtitulando 70 millones de videos con múltiples profesores intermodales
Framework de código abierto para el desarrollo de agentes de IA conversacionales multimodales en tiempo real.
Una colección curada de artículos de investigación que exploran la utilización de LLM para tareas relacionadas con grafos.
ComfyUI Lumi Batcher es un plugin de extensión de procesamiento por lotes diseñado para ComfyUI, con el objetivo de mejorar la eficiencia de la depuración del flujo de trabajo. Los métodos de depuración tradicionales requieren ajustar los parámetros uno por uno, mientras que esta herramienta mejora significativamente la eficiencia del trabajo a través de capacidades de procesamiento por lotes.
Implementación oficial de "Lumina-mGPT: Ilumina la generación flexible foto-realista de texto a imagen con pre-entrenamiento generativo multimodal"
Nodos ComfyUI para Janus-Pro, un marco unificado de comprensión y generación multimodal.
Recopilamos artículos sobre "grandes modelos de lenguaje (LLM) para tareas relacionadas con tablas", por ejemplo, el uso de LLM para la tarea Table QA. Colección de artículos relacionados con "Tabla + LLM"
Chatea con tus documentos utilizando Modelos de Lenguaje de Visión. Este repositorio implementa un pipeline RAG de extremo a extremo con VLMs locales y propietarios.
(Destacado de CVPR 2025✨) Repositorio oficial del artículo "LLMDet: Learning Strong Open-Vocabulary Object Detectors under the Supervision of Large Language Models"
Implementación oficial del código de Vary-toy (Small Language Model se encuentra con Reinforced Vision Vocabulary)
Aprendizaje de conceptos de audio a partir de la supervisión del lenguaje natural
Un nuevo método de interacción humana para la extracción de voz en tiempo real en auriculares.
Repositorio oficial de "Glyph: Scaling Context Windows via Visual-Text Compression"
Framework que permite el ajuste fino de modelos de anclaje de visión y lenguaje en conjuntos de datos personalizados
Convertir el servicio web de Claude en un servicio API, admitiendo reconocimiento de imágenes, carga de archivos, salida de pensamiento...
Codificación de un modelo de lenguaje multimodal (visión) desde cero en PyTorch con explicación completa: https://www.youtube.com/watch?v=vAmKB7iPkWw
Implementaciones oficiales de "Cheap and Quick: Efficient Vision-Language Instruction Tuning for Large Language Models" [NeurIPS 2023]