#multimodal-ai Repositórios
191 repositórios no total
VeOmni: Escalando o Treinamento de Modelos de Qualquer Modalidade com um Zoo de Receitas Distribuídas Centrado no Modelo
Awesome-LLM-3D: uma lista selecionada de Recursos de Modelos de Linguagem Grande Multimodais no mundo 3D
Repositório oficial de 'Visual-RFT: Ajuste Fino de Reforço Visual' e 'Visual-ARFT: Ajuste Fino de Reforço Agêntico Visual'
Assistente de Linguagem e Visão de Grande Porte para a Biomedicina, construído com o objetivo de alcançar capacidades multimodais de nível GPT-4.
【LLMs Nine-Story Demon Tower】Compartilhando práticas e experiências de LLMs nas áreas de Processamento de Linguagem Natural (ChatGLM, Chinese-LLaMA-Alpaca, Vicuna, LLaMA, GPT4ALL, etc.), Recuperação de Informação (langchain), Síntese de Linguagem, Reconhecimento de Linguagem, Multimodalidade (Stable Diffusion, MiniGPT-4, VisualGLM-6B, Ziya-Visual, etc.).
Extraia dados estruturados e insights de documentos usando modelos de linguagem de grande porte e modelos de decisão
O repositório oficial do chat Qwen2-Audio e do modelo de linguagem de áudio grande pré-treinado proposto pela Alibaba Cloud.
Receitas para reduzir, otimizar e personalizar modelos de visão de ponta. 💜
O Blueprint de IA da NVIDIA para pesquisa e sumarização de vídeo (VSS) é uma arquitetura de referência acelerada por GPU para construir agentes de análise de vídeo com alertas verificados em tempo real, perguntas e respostas visuais e relatórios automatizados. O Blueprint VSS usa modelos de linguagem visual (VLM) como NVIDIA Cosmos, LLMs como NVIDIA Nemotron, RAG e NVIDIA NIM.
Pesquisa semântica. Pesquise fotos e vídeos locais através da linguagem natural. A busca semântica de IA permite pesquisar mídias locais por meio de pesquisa por imagem, encontrar conteúdos locais, combinar cenas com descrições de texto, realizar pesquisa por quadros de vídeo e pesquisar vídeos com base em descrições visuais.
Chatbot Ollama é uma interface de chat de código aberto para Ollama.
EVA OS — Um AIOS multimodal em tempo real para hardware de próxima geração, permitindo que seus dispositivos estejam "vivos" e sejam tão inteligentes quanto um cérebro real.
OpenGUI é um framework de agente de GUI para Android voltado para IA em celulares, capaz de ver, planejar e operar aplicativos móveis reais através da interface gráfica.
TorchMultimodal é uma biblioteca PyTorch para treinar modelos multitarefa multimodais de última geração em escala.
Servidor de inferência de LLM de alto desempenho compatível com OpenAI e Anthropic para Apple Silicon. MLX nativo, processamento em lote contínuo, modelos multimodais, chamadas de ferramentas MCP e suporte a Claude Code.
Ragflow-Plus é uma versão de desenvolvimento secundário do Ragflow, tornando-o mais conciso e prático
Coletar alguns artigos sobre transformer para detecção e segmentação. Transformer de Detecção Incrível para Visão Computacional (CV)
Catálogo visual selecionado com mais de 200 arquiteturas de modelos de visão e linguagem (VLM/MLLM): artigos, diagramas, receitas de treinamento, conjuntos de dados e cronologia de lançamento de agentes de IA multimodais.
Um agente de IA de código aberto que é compatível com múltiplos modelos LLM
📰 Artigos e blogs imperdíveis sobre Decodificação Especulativa ⚡️
Seu agente autônomo aberto para Android — um assistente de IA pronto para produção, autoplanejador, alimentado por LLMs locais/remotos e automação de tela baseada em acessibilidade.
[ICML'26 & COLM'26] Série Agent0: Agentes autoevolutivos a partir de dados zero
OpenTSLM: Modelos de Linguagem de Séries Temporais para Raciocínio sobre Dados Multivariados de Texto Médico e Séries Temporais
O repositório oficial do GitHub para o artigo de pesquisa "A Survey on Diffusion Language Models".