#multimodal-large-language-models Repositórios
Descubra 43 repositórios ativos de código aberto no GitHub marcados com #multimodal-large-language-models, acumulando um total de 78,032 estrelas (uma média de 1,814 por projeto). O líder deste tópico é BradyFU/Awesome-Multimodal-Large-Language-Models, com 18,090 estrelas.
43 repositórios no total
:sparkles::sparkles:Últimos Avanços em Grandes Modelos de Linguagem Multimodais
StarVector é um modelo de fundação para a geração de SVG que transforma a vetorização em uma tarefa de geração de código. Utilizando uma arquitetura de modelagem visão-linguagem, o StarVector processa tanto entradas visuais quanto textuais para produzir código SVG de alta qualidade com notável precisão.
LLaMA-Omni é um modelo de interação por voz ponta a ponta de baixa latência e alta qualidade, construído sobre o Llama-3.1-8B-Instruct, com o objetivo de alcançar capacidades de voz no nível do GPT-4o.
Um framework multiplataforma de estruturação de vídeo (análise de vídeo) baseado em modelos de CV e mLLM.
✨✨[NeurIPS 2025] VITA-1.5: Em direção à Interação de Visão e Fala em Tempo Real Nível GPT-4o
mPLUG-DocOwl: Modelo de Linguagem Grande Multimodal Modularizado para Compreensão de Documentos
Cambrian-1 é uma família de LLMs multimodais com um design centrado na visão.
[ICML 2024] Dominando a Difusão Texto-para-Imagem: Recaptioning, Planejamento e Geração com LLMs Multimodais (RPG)
Seed1.5-VL, um modelo fundamental de visão e linguagem projetado para avançar a compreensão e o raciocínio multimodal de propósito geral, alcançando o estado da arte em 38 de 60 benchmarks públicos.
[ICLR2026] Este é o primeiro artigo a explorar como usar efetivamente RL semelhante a R1 para MLLMs e apresentar Vision‑R1, um MLLM de raciocínio que aproveita a inicialização em frio e o treinamento RL para incentivar a capacidade de raciocínio.
Um fork para adicionar treinamento de modelo multimodal ao open-r1
Uma nova arquitetura de Modelo de Linguagem Grande Multimodal (MLLM), projetada para alinhar estruturalmente embeddings visuais e textuais.
Este repositório fornece referências valiosas para pesquisadores na área de multimodalidade, por favor, inicie sua jornada exploratória em RL-based Reasoning MLLMs!
Humano digital interativo de voz em tempo real, com aparência e voz personalizáveis, que suporta clonagem de voz e apresenta um atraso de diálogo de apenas 3s.
Implementação PyTorch do Audio Flamingo: Série de Modelos de Linguagem Avançados para Compreensão de Áudio
Notas de leitura sobre Modelos de Linguagem Grandes Multimodais, Modelos de Linguagem Grandes e Modelos de Difusão
Uma Estrutura para Processamento de Fala, Linguagem, Áudio e Música com Modelo de Linguagem Grande
Raciocínio em Cadeia de Pensamento Multimodal: Uma Pesquisa Abrangente
Uma coleção de recursos sobre aplicações de aprendizado multimodal em imagens médicas.
Uma lista de artigos sobre trabalhos recentes de Compressão de Tokens para Vit e VLM
Série NEO: Modelos Nativos de Visão-Linguagem a Partir dos Primeiros Princípios
✨✨[CVPR 2025] Video-MME: O Primeiro e Mais Abrangente Benchmark de Avaliação de LLMs Multimodais em Análise de Vídeo
LLaVA-Plus: Assistentes de Linguagem e Visão de Grande Porte que Conectam e Aprendem a Usar Habilidades
[CVPR 2024] MovieChat: De Token Denso a Memória Esparsa para Compreensão de Vídeo Longo
OmniVinci é um LLM omnimodal para a compreensão conjunta de visão, áudio e linguagem.
Projeto Pessoal: MPP-Qwen14B & MPP-Qwen-Next (Pipeline Paralelo Multimodal baseado em Qwen-LM). Suporta [video/image/multi-image] {sft/conversations}. Não deixe a pobreza limitar sua imaginação! Treine seu próprio MLLM 8B/14B semelhante ao LLaVA-training na RTX3090/4090 24GB.
(Aceito pela IJCV) Liquid: Modelos de Linguagem são Geradores Multimodais Escaláveis e Unificados
✨✨Pica-pau: Correção de Alucinação para Modelos de Linguagem Grandes Multimodais
Uma coleção de artigos, códigos, conjuntos de dados, benchmarks e recursos de raciocínio multimodal.
Artigo da NeurIPS 2024: Um LLM de Visão Unificado a Nível de Pixel para Compreensão, Geração, Segmentação e Edição
LLaVA-Mini é um modelo multimodal grande unificado (LMM) que pode suportar a compreensão de imagens, imagens de alta resolução e vídeos de forma eficiente.
🔥🔥🔥 Uma lista selecionada de artigos sobre geração multimodal baseada em LLMs (imagem, vídeo, 3D e áudio).
🌐 Modelos de visão, linguagem e ação para a condução autónoma: passado, presente e futuro
Código oficial de "EVF-SAM: Fusão Precoce Visão-Linguagem para Modelo Segment Anything com Prompt de Texto"
Perguntas Frequentes
Qual é o repositório de #multimodal-large-language-models mais popular no GitHub?
O projeto de código aberto de #multimodal-large-language-models mais bem classificado no GitHub é BradyFU/Awesome-Multimodal-Large-Language-Models, com 18,090 estrelas. :sparkles::sparkles:Últimos Avanços em Grandes Modelos de Linguagem Multimodais
Quais linguagens de programação são mais usadas nos repositórios de #multimodal-large-language-models?
Entre os projetos de #multimodal-large-language-models mais bem classificados no GitHub, as linguagens de programação mais comuns são Python, Jupyter Notebook, HTML, C++.
Como é calculada a classificação dos repositórios de #multimodal-large-language-models?
Acompanhamos 43 repositórios ativos de código aberto marcados com #multimodal-large-language-models (com mais de 500 estrelas), totalizando 78,032 estrelas e uma média de 1,814 estrelas por repositório. As classificações são atualizadas diariamente a partir da API do GitHub.