#multimodal-llm Repositórios
Descubra 27 repositórios ativos de código aberto no GitHub marcados com #multimodal-llm, acumulando um total de 63,138 estrelas (uma média de 2,338 por projeto). O líder deste tópico é anthropics/courses, com 22,833 estrelas.
27 repositórios no total
Kimi-Audio, um modelo de fundação de áudio de código aberto que se destaca na compreensão, geração e conversação de áudio
modelo de linguagem grande multimodal de código aberto que pode ouvir, falar enquanto pensa. Apresentando capacidades conversacionais de entrada de fala em tempo real de ponta a ponta e saída de áudio em streaming.
OCRFlux é um kit de ferramentas multimodal leve, porém poderoso, que avança significativamente a conversão de PDF para Markdown, destacando-se no tratamento de layouts complexos, análise de tabelas complicadas e fusão de conteúdo entre páginas.
Modelos ASR de código aberto de nível industrial que suportam mandarim, dialetos chineses e inglês, alcançando um novo SOTA em benchmarks públicos de ASR em mandarim, ao mesmo tempo que oferecem capacidade excepcional de reconhecimento de letras de músicas.
WeMM-Embedding é uma família de modelos universais de incorporação multimodal desenvolvida pela equipe WeChat Vision da Tencent, com suporte para compreensão e recuperação multimodal.
AgentCPM-GUI: Um agente de GUI no dispositivo para operar aplicativos Android, aprimorando a capacidade de raciocínio com ajuste fino de reforço para execução eficiente de tarefas.
Catálogo visual selecionado com mais de 200 arquiteturas de modelos de visão e linguagem (VLM/MLLM): artigos, diagramas, receitas de treinamento, conjuntos de dados e cronologia de lançamento de agentes de IA multimodais.
TinyGPT-V: Modelo de Linguagem Grande Multimodal Eficiente via Backbones Pequenos
VideoLLaMA 2: Avançando a Modelagem Espaço-Temporal e a Compreensão de Áudio em Vídeo-LLMs
Um Modelo Generalista Transparente para a Compreensão Holística de Visão-Linguagem Médica
Video-R1: Reforçando o Raciocínio de Vídeo em MLLMs [🔥o primeiro artigo a explorar o R1 para vídeo]
Implementação oficial do artigo "MiniGPT-5: Geração Intercalada de Visão e Linguagem via Vokens Generativos"
Um sistema ASR All-in-One de nível industrial SOTA com módulos ASR, VAD, LID e Punc. O FireRedASR2 suporta chinês (mandarim, 20+ dialetos/sotaques), inglês, alternância de código e ASR tanto para fala quanto para canto. O FireRedVAD suporta fala/canto/música em 100+ idiomas. O FireRedLID suporta 100+ idiomas e 20+ dialetos chineses. O FireRedPunc suporta chinês e inglês.
VideoLLM-online: Modelo de Linguagem Grande de Vídeo Online para Streaming de Vídeo (CVPR 2024)
Implementação em PyTorch de "V* : Busca Visual Guiada como um Mecanismo Central em LLMs Multimodais"
Ajuste fino de Grandes Modelos de Linguagem, ajuste fino de instruções para Qwen2VL, Qwen2, GLM4
Foi realizado o ajuste fino concatenado (fine-tuning) da cabeça visual do SmolVLM2 com o modelo Qwen3-0.6B.
LaVIT: Capacitar o Grande Modelo de Linguagem para Compreender e Gerar Conteúdo Visual
Este projeto explora a integração do ChatGPT com o WhatsApp, transformando o chatbot em um assistente virtual capaz de realizar tarefas como falar com amigos, responder a perguntas de clientes, e muito mais, com um toque de humanização nas conversas.
[ICLR2026] VideoChat-Flash: Compressão hierárquica para a modelagem de vídeo de longo contexto
Perguntas Frequentes
Qual é o repositório de #multimodal-llm mais popular no GitHub?
O projeto de código aberto de #multimodal-llm mais bem classificado no GitHub é anthropics/courses, com 22,833 estrelas. Cursos educativos da Anthropic
Quais linguagens de programação são mais usadas nos repositórios de #multimodal-llm?
Entre os projetos de #multimodal-llm mais bem classificados no GitHub, as linguagens de programação mais comuns são Python, Jupyter Notebook, Markdown, TypeScript.
Como é calculada a classificação dos repositórios de #multimodal-llm?
Acompanhamos 27 repositórios ativos de código aberto marcados com #multimodal-llm (com mais de 500 estrelas), totalizando 63,138 estrelas e uma média de 2,338 estrelas por repositório. As classificações são atualizadas diariamente a partir da API do GitHub.