#multimodal-large-language-models Repositorios
Descubre 43 repositorios activos de código abierto de GitHub etiquetados con #multimodal-large-language-models, que acumulan 78,032 estrellas en total (una media de 1,814 estrellas por proyecto). El líder de este tema es BradyFU/Awesome-Multimodal-Large-Language-Models, con 18,090 estrellas.
43 repositorios en total
:sparkles::sparkles:Últimos avances en modelos de lenguaje grandes multimodales
StarVector es un modelo fundamental para la generación de SVG que transforma la vectorización en una tarea de generación de código. Utilizando una arquitectura de modelado de visión y lenguaje, StarVector procesa entradas visuales y textuales para producir código SVG de alta calidad con una precisión notable.
LLaMA-Omni es un modelo de interacción por voz de extremo a extremo de baja latencia y alta calidad construido sobre Llama-3.1-8B-Instruct, que tiene como objetivo lograr capacidades de voz al nivel de GPT-4o.
Un marco multiplataforma de estructuración de video (análisis de video) basado en modelos de CV y mLLM.
✨✨[NeurIPS 2025] VITA-1.5: Hacia la Interacción de Visión y Voz en Tiempo Real Nivel GPT-4o
mPLUG-DocOwl: Modelo de lenguaje grande multimodal modularizado para la comprensión de documentos
Cambrian-1 es una familia de LLM multimodales con un diseño centrado en la visión.
[ICML 2024] Dominio de la difusión de texto a imagen: Recaptionamiento, planificación y generación con LLM multimodales (RPG)
Seed1.5-VL, un modelo de base de visión y lenguaje diseñado para avanzar en la comprensión y el razonamiento multimodal de propósito general, logrando un rendimiento de vanguardia en 38 de los 60 puntos de referencia públicos.
[ICLR2026] Este es el primer documento que explora cómo usar eficazmente RL similar a R1 para MLLMs e introduce Vision‑R1, un MLLM de razonamiento que aprovecha la inicialización de arranque en frío y el entrenamiento RL para incentivar la capacidad de razonamiento.
Una bifurcación para agregar el entrenamiento de modelos multimodales a open-r1
Una novedosa arquitectura de Modelo de Lenguaje Grande Multimodal (MLLM), diseñada para alinear estructuralmente incrustaciones visuales y textuales.
¡Este repositorio proporciona referencias valiosas para los investigadores en el campo de la multimodalidad, comience su viaje exploratorio en MLLMs de Razonamiento basados en RL!
Humano digital interactivo de voz en tiempo real, con apariencia y voz personalizables, que soporta la clonación de voz y presenta una latencia de diálogo de tan solo 3 segundos.
Implementación en PyTorch de Audio Flamingo: Serie de Modelos de Lenguaje Avanzados para la Comprensión de Audio
Notas de lectura sobre Modelos Grandes de Lenguaje Multimodales, Modelos Grandes de Lenguaje y Modelos de Difusión
Un Marco para el Procesamiento de Voz, Lenguaje, Audio y Música con Modelos de Lenguaje de Gran Tamaño
Razonamiento multimodal en cadena de pensamiento: una encuesta completa
Una colección de recursos sobre aplicaciones de aprendizaje multimodal en imágenes médicas.
Una lista de artículos sobre algunos trabajos recientes sobre compresión de tokens para Vit y VLM
✨✨[CVPR 2025] Video-MME: El primer y más completo benchmark de evaluación de LLM multimodales en análisis de video
LLaVA-Plus: Grandes asistentes de lenguaje y visión que se conectan y aprenden a usar habilidades
[CVPR 2024] MovieChat: De tokens densos a memoria dispersa para la comprensión de videos largos
OmniVinci es un LLM omnimodal para la comprensión conjunta de la visión, el audio y el lenguaje.
Proyecto Personal: MPP-Qwen14B & MPP-Qwen-Next (Pipeline Paralelo Multimodal basado en Qwen-LM). Soporta [video/imagen/multi-imagen] {sft/conversations}. ¡No dejes que la pobreza limite tu imaginación! Entrena tu propio MLLM 8B/14B similar a LLaVA-training en RTX3090/4090 24GB.
(Aceptado por IJCV)Liquid: Los modelos de lenguaje son generadores multimodales escalables y unificados
✨✨Woodpecker: Corrección de alucinaciones para modelos lingüísticos grandes multimodales
Una colección de artículos, códigos, conjuntos de datos, puntos de referencia (benchmarks) y recursos sobre razonamiento multimodal.
NeurIPS 2024 Paper: Un LLM visual unificado a nivel de píxeles para comprender, generar, segmentar y editar
LLaVA-Mini es un modelo multimodal grande y unificado (LMM) que puede admitir la comprensión de imágenes, imágenes de alta resolución y videos de manera eficiente.
🔥🔥🔥 Una lista curada de artículos sobre generación multimodal basada en LLM (imagen, video, 3D y audio).
🌐 Modelos de visión, lenguaje y acción para la conducción autónoma: pasado, presente y futuro
Código oficial de «EVF-SAM: Fusión temprana visión-lenguaje para el modelo Segment Anything con prompt de texto»
Preguntas frecuentes
¿Cuál es el repositorio de #multimodal-large-language-models más popular en GitHub?
El proyecto de código abierto de #multimodal-large-language-models mejor posicionado en GitHub es BradyFU/Awesome-Multimodal-Large-Language-Models, con 18,090 estrellas. :sparkles::sparkles:Últimos avances en modelos de lenguaje grandes multimodales
¿Qué lenguajes de programación se utilizan más en los repositorios de #multimodal-large-language-models?
Entre los proyectos de #multimodal-large-language-models mejor posicionados en GitHub, los lenguajes de programación más comunes son Python, Jupyter Notebook, HTML, C++.
¿Cómo se calcula la clasificación de los repositorios de #multimodal-large-language-models?
Seguimos 43 repositorios activos de código abierto etiquetados con #multimodal-large-language-models (500+ estrellas), que suman un total de 78,032 estrellas, con una media de 1,814 estrellas por repositorio. Las clasificaciones se actualizan diariamente a partir de la API de GitHub.