#multimodal-llm Repositorios
Descubre 27 repositorios activos de código abierto de GitHub etiquetados con #multimodal-llm, que acumulan 63,138 estrellas en total (una media de 2,338 estrellas por proyecto). El líder de este tema es anthropics/courses, con 22,833 estrellas.
27 repositorios en total
Kimi-Audio, un modelo de fundación de audio de código abierto que se destaca en la comprensión, generación y conversación de audio
Modelo de lenguaje grande multimodal de código abierto que puede oír, hablar mientras piensa. Con capacidades conversacionales de entrada de voz de extremo a extremo en tiempo real y salida de audio en streaming.
OCRFlux es un kit de herramientas multimodal ligero pero potente que mejora significativamente la conversión de PDF a Markdown, destacando en el manejo de diseños complejos, el análisis de tablas complicadas y la fusión de contenido entre páginas.
Modelos ASR de nivel industrial de código abierto que admiten mandarín, dialectos chinos e inglés, logrando un nuevo SOTA en puntos de referencia públicos de ASR en mandarín, al tiempo que ofrecen una capacidad excepcional de reconocimiento de letras de canciones.
WeMM-Embedding es una familia de modelos universales de incrustación multimodal desarrollados por el equipo de WeChat Vision de Tencent, que admite la comprensión y recuperación multimodal.
AgentCPM-GUI: Un agente GUI en el dispositivo para operar aplicaciones de Android, que mejora la capacidad de razonamiento con ajuste fino de refuerzo para una ejecución eficiente de tareas.
Catálogo visual seleccionado de más de 200 arquitecturas de modelos de visión y lenguaje (VLM/MLLM): artículos, diagramas, recetas de entrenamiento, conjuntos de datos y una cronología de lanzamientos de agentes de IA multimodales.
TinyGPT-V: Modelo de lenguaje grande multimodal eficiente a través de espinas dorsales pequeñas
VideoLLaMA 2: Avances en la modelización espacio-temporal y la comprensión de audio en Video-LLMs
Un Modelo Generalista Transparente hacia la Comprensión Holística Visión-Lenguaje Médica
Video-R1: Fortalecimiento del Razonamiento de Video en MLLMs [🔥el primer artículo en explorar R1 para video]
Implementación oficial del artículo "MiniGPT-5: Interleaved Vision-and-Language Generation via Generative Vokens"
Un sistema ASR todo en uno de grado industrial SOTA con módulos ASR, VAD, LID y Punc. FireRedASR2 admite chino (mandarín, 20+ dialectos/accentos), inglés, cambio de código y ASR tanto para voz como para canto. FireRedVAD admite voz/canto/música en 100+ idiomas. FireRedLID admite 100+ idiomas y 20+ dialectos chinos. FireRedPunc admite chino e inglés.
VideoLLM-online: Large Language Model en línea para video en streaming (CVPR 2024)
Implementación en PyTorch de "V* : Guided Visual Search as a Core Mechanism in Multimodal LLMs"
Ajuste fino de modelos de lenguaje grandes, ajuste fino de instrucciones Qwen2VL, Qwen2, GLM4
Se realizó un ajuste fino concatenado de la cabeza visual de SmolVLM2 con el modelo Qwen3-0.6B.
LaVIT: Empoderar al modelo de lenguaje grande para comprender y generar contenido visual
Este proyecto explora la integración de ChatGPT con WhatsApp, transformando el chatbot en un asistente virtual capaz de realizar tareas como hablar con amigos, responder a preguntas de clientes y mucho más, con un toque de humanización en las conversaciones.
[ICLR2026] VideoChat-Flash: Compresión jerárquica para la modelización de video de largo contexto
Preguntas frecuentes
¿Cuál es el repositorio de #multimodal-llm más popular en GitHub?
El proyecto de código abierto de #multimodal-llm mejor posicionado en GitHub es anthropics/courses, con 22,833 estrellas. Cursos educativos de Anthropic
¿Qué lenguajes de programación se utilizan más en los repositorios de #multimodal-llm?
Entre los proyectos de #multimodal-llm mejor posicionados en GitHub, los lenguajes de programación más comunes son Python, Jupyter Notebook, Markdown, TypeScript.
¿Cómo se calcula la clasificación de los repositorios de #multimodal-llm?
Seguimos 27 repositorios activos de código abierto etiquetados con #multimodal-llm (500+ estrellas), que suman un total de 63,138 estrellas, con una media de 2,338 estrellas por repositorio. Las clasificaciones se actualizan diariamente a partir de la API de GitHub.