#multimodal Repositórios
183 repositórios no total
InternLM-XComposer2.5-OmniLive: Um Sistema Multimodal Abrangente para Interações de Vídeo e Áudio em Streaming de Longo Prazo
A camada de contexto para dados não estruturados: conjuntos de dados tipados e versionados sobre S3, GCS, Azure
Imagens para inferência sem rotulagem (use modelos de base para treinar modelos supervisionados).
Calcule facilmente embeddings CLIP e construa um sistema de recuperação CLIP com eles
Otimizar o processo de ajuste fino para modelos multimodais: PaliGemma 2, Florence-2 e Qwen2.5-VL
Recursos abrangentes sobre IA Generativa, incluindo um roteiro detalhado, projetos, casos de uso, preparação para entrevistas e preparação para codificação.
[EMNLP-2024] Construir agentes de linguagem multimodal para prototipagem e produção rápidas
Repositório oficial do OFA (ICML 2022). Artigo: OFA: Unificando Arquiteturas, Tarefas e Modalidades Através de uma Estrutura Simples de Aprendizagem Sequência-para-Sequência
HuixiangDou: Superando Cenários de Bate-papo em Grupo com Assistência Técnica Baseada em LLMs
Uma coleção selecionada de artigos, benchmarks, revisões e ferramentas sobre quantização de modelos, abrangendo redes de poucos bits, LLMs, modelos multimodais e generativos, quantização vetorial e de reticulado, e implantação eficiente.
(ෆ`꒳´ෆ) Uma Pesquisa sobre Geração/Síntese de Texto para Imagem.
SDK para interagir com as APIs da stability.ai (por exemplo, inferência de difusão estável)
Roubao 2.0 para iPhone: agente de IA de código aberto para iOS com controle da interface Micro-X autorizado pelo proprietário, modelos personalizados, tarefas retomáveis e relatórios em PDF. Não requer Wi-Fi, jailbreak, computador nem hardware adicional durante a execução (a configuração exige um Mac e conexão USB). A versão legada para Android foi mantida.
[ECCV2024] Modelos Fundacionais de Vídeo e Dados para Compreensão Multimodal
🎨 NeMo Data Designer: Gere dados sintéticos de alta qualidade do zero ou a partir de dados semente.
mPLUG-DocOwl: Modelo de Linguagem Grande Multimodal Modularizado para Compreensão de Documentos
Deixe o Claude (ou qualquer LLM) realmente assistir a um vídeo — quadros com detecção de cena e sem duplicatas + transcrição, de uma URL ou arquivo local. Executa localmente, MIT.
GenAI Processors é uma biblioteca Python leve que possibilita o processamento de conteúdo eficiente e paralelo.
IA multimodal em tempo real no dispositivo com recursos semelhantes ao GPT-Live
[ICLR & NeurIPS 2025] Repositório para a série Show-o, Um Único Transformer para Unificar Compreensão e Geração Multimodal.
Uma implementação de código aberto para o ajuste fino da série Qwen-VL pela Alibaba Cloud.
Implementação de "BitNet: Escalando Transformers de 1 bit para Grandes Modelos de Linguagem" em pytorch
Ambiente de execução de alto desempenho para servir sistemas de superinteligência interativos
Uma coleção de ideias e algoritmos originais e inovadores voltados para Máquinas Literatas Avançadas. Este projeto é mantido pela Equipe de OCR no Laboratório de Tecnologia de Linguagem, Tongyi Lab, Alibaba Group.
WeMM-Embedding é uma família de modelos universais de incorporação multimodal desenvolvida pela equipe WeChat Vision da Tencent, com suporte para compreensão e recuperação multimodal.
O Sistema de Autocodificação para Seu Aplicativo — Alan AI SDK para Android
O Sistema de Auto-Codificação para o Seu Aplicativo — Alan AI SDK para Flutter
Os agentes de backend são desenvolvidos com: banco de dados multimodal, orquestração e serving em um único arquivo
Uma nova arquitetura de Modelo de Linguagem Grande Multimodal (MLLM), projetada para alinhar estruturalmente embeddings visuais e textuais.
Obtenha dados limpos de documentos complexos, impulsionado por modelos de visão e linguagem ⚡
Dê ao Claude a capacidade de assistir e entender vídeos — plugin Claude Code com extração de quadros e análise multimodal de áudio
Xtreme1 é uma plataforma de anotação e rotulagem de dados completa para treinamento de dados multimodais e suporta nuvem de pontos LiDAR 3D, imagem e LLM.
Este repositório é a implementação oficial de Disentangling Writer and Character Styles for Handwriting Generation (CVPR 2023)
Catálogo visual selecionado com mais de 200 arquiteturas de modelos de visão e linguagem (VLM/MLLM): artigos, diagramas, receitas de treinamento, conjuntos de dados e cronologia de lançamento de agentes de IA multimodais.
Motor de inferência offline para arte, conversas de voz em tempo real, chatbots com tecnologia LLM e fluxos de trabalho automatizados
Visão para agentes DeepSeek Harness que trabalham somente com texto: cadeia de visão gratuita integrada (sem chave) + ferramentas de visão em nível de pixel (perguntas e respostas, grounding, recorte, diferença de pixels, cores, OCR, rastreamento SVG, recorte de objetos e capturas de tela). Instalação com um único comando, sem Python; os turnos com imagens funcionam como turnos comuns de chamada de ferramentas.
Projete um melhor kit de ferramentas e habilidades visuais para modelos somente de texto "verem" imagens, suportando compreensão de múltiplas imagens, perguntas e respostas sobre imagens, restauração de UI frontend, automação de GUI, etc., com integração opcional e perfeita com vários agentes principais, e reconhecimento direto de imagens coladas | Um kit de ferramentas e habilidades visuais projetado para LLMs somente de texto: perguntas e respostas sobre imagens, OCR de capturas de tela longas, restauração de UI frontend e automação de GUI, com integração opcional e perfeita para Codex, Claude Code, Pi, Oh My Pi e OpenCode
Treinamento e inferência distribuídos para percepção multimodal: embeddings compartilhados para texto, imagens, vídeo, áudio, código e grafos, de 64 a 1.024 dimensões 🖼️
Servidor MCP Multi-AI - Conecte ChatGPT, Claude, Gemini e Perplexity às suas ferramentas de codificação sem nenhuma API