#multimodal Repositórios
Descubra 183 repositórios ativos de código aberto no GitHub marcados com #multimodal, acumulando um total de 700,629 estrelas (uma média de 3,828 por projeto). O líder deste tópico é Mintplex-Labs/anything-llm, com 68,480 estrelas.
183 repositórios no total
Pare de alugar sua inteligência. Possua-a com AnythingLLM. Tudo que você precisa para uma poderosa experiência de agente local
"Compreensão profunda de agentes de IA: princípios de design e prática de engenharia" (por Bojie Li) Repositório principal de código aberto: texto completo, PDF compilado e código complementar por capítulo.
A Pilha de Agentes de IA Multimodal de Código Aberto: Conectando Modelos de IA de Ponta e Infraestrutura de Agentes
[NeurIPS'23 Oral] Visual Instruction Tuning (LLaVA) construído em direção a capacidades de nível GPT-4V e além.
YC (S26) | Screenpipe encontra o trabalho que vale a pena automatizar | Registre continuamente, em local, o trabalho realizado no computador, descubra fluxos de trabalho recorrentes e entregue o resultado a qualquer agente que você já use.
Pré-treinamento Autossupervisionado em Larga Escala Entre Tarefas, Idiomas e Modalidades
Use PEFT ou treinamento com todos os parâmetros para realizar CPT/SFT/DPO/GRPO em mais de 600 LLMs (Qwen3.8, DeepSeek-V4, GLM-5.1, InternLM3, Llama4, ...) e mais de 300 MLLMs (Qwen3-VL, Qwen3-Omni, InternVL3.5, Ovis2.5, GLM5.3, Gemma4, LLaVA, Phi4, ...) (AAAI 2025).
🔍Desenvolvimento Prático de Aplicações de Modelos Grandes Parte 1: Guia Full Stack da Tecnologia RAG, endereço de leitura online: https://datawhalechina.github.io/all-in-rag/
https://arxiv.org/abs/2606.28344. O fim do parsing web. O início da busca nativa de pixels escalável. link: https://pixelrag.ai/
Kit de ferramentas pronto para produção para executar IA localmente
Uma biblioteca Python para detecção de anomalias em dados tabulares, séries temporais, grafos, texto, imagens e áudio. Inclui mais de 60 detectores, orquestração ADEngine baseada em benchmarks e um fluxo de trabalho agente para agentes de IA.
SeaTunnel é uma ferramenta de integração de dados massivos, distribuída, de alto desempenho e multimodal.
Deeplake é uma AI Data Runtime para Agents. Fornece Postgres sem servidor com um datalake multimodal, permitindo recuperação e treinamento escaláveis.
A maneira mais fácil de servir aplicativos e modelos de IA - Crie APIs de Inferência de Modelo, filas de tarefas (Job queues), aplicativos LLM, pipelines multimodelos e muito mais!
Uma biblioteca de texto para fala (TTS), fala para texto (STT) e fala para fala (STS) construída sobre o framework MLX da Apple, fornecendo análise de fala eficiente no Apple Silicon.
Uma estrutura para inferência de modelo eficiente com modelos de omni-modalidade
Framework de código aberto para construir aplicativos de agente em JavaScript, Go, Dart e Python, construído e usado em produção pelo Google
Pesquise no seu computador pelo conteúdo dos seus arquivos: fotos, PDFs, documentos, gravações, vídeos e código. Funciona localmente no Mac, Windows e Linux e é baseado no EmbeddingGemma 2 do Google DeepMind.
notas para engenheiros de software que estão se atualizando sobre os novos desenvolvimentos em IA. Serve como repositório de dados para a escrita de https://latent.space e para brainstorming de produtos, mas tem referências canônicas organizadas na pasta /Resources.
Este repositório é uma coleção selecionada de links para vários cursos e recursos sobre Inteligência Artificial (IA)
Mecanismo de dados de alto desempenho para cargas de trabalho de IA e multimodais. Processe imagens, áudio, vídeo e dados estruturados em qualquer escala.
Um playground visual para fluxos de trabalho com agentes: Itere sobre seus agentes 10x mais rápido
Uma estrutura MCP de baixo código para construir pipelines RAG complexos e inovadores
Uma estrutura modular para pesquisa multimodal de visão e linguagem do Facebook AI Research (FAIR)
Um Mecanismo de Treinamento de Próxima Geração Construído para Modelos MoE de Ultra-Grande Porte
O primeiro plugin de visão para DeepSeek Harness e a ponte de visão para cada agente de codificação somente texto. Cole uma imagem, obtenha evidências JSON estruturadas (OCR, layout, semântica).
Implementação Plug and Play da Árvore de Pensamentos: Resolução Deliberada de Problemas com Grandes Modelos de Linguagem que Eleva o Raciocínio do Modelo em pelo menos 70%
Ferramenta de Avaliação Multimodal One-for-All para Tarefas de Texto, Imagem, Vídeo e Áudio
Transforme facilmente grandes conjuntos de URLs de imagens em um dataset de imagens. Pode baixar, redimensionar e empacotar 100 milhões de URLs em 20h em uma única máquina.
Tutoriais e recursos selecionados para Modelos de Linguagem Grande, Pintura de IA e muito mais.
Uma família de modelos de código aberto para síntese de fala de longa duração, síntese de diálogos, design de voz, efeitos sonoros e TTS em streaming em tempo real
Fengshenbang-LM (封神榜大模型) é um sistema de modelo grande de código aberto liderado pelo Centro de Pesquisa de Computação Cognitiva e Linguagem Natural do Instituto IDEA, tornando-se a infraestrutura para AIGC e inteligência cognitiva em chinês.
[ICML'26] SimpleMem: Memória eficiente de longo prazo para agentes de LLM — Texto e multimodal
Código e modelos para o artigo ICML 2024, NExT-GPT: Modelo de Linguagem Grande Multimodal Qualquer-para-Qualquer
MTEB: Avaliação de ponta de embeddings em diferentes idiomas e modalidades
🤖 SDK de IA em TypeScript, com segurança de tipos e agnóstico ao provedor, para chat em streaming, chamadas de ferramentas, agentes e aplicativos multimodais em OpenAI, Anthropic, Gemini, React, Vue, Svelte e Solid.
Um framework extensível e de última geração para compressão columnar, e o formato de arquivo columnar FOSS mais rápido. Anteriormente na @spiraldb, agora um projeto em estágio de incubação na LFAI&Data, parte da Linux Foundation.
[NeurIPS 2024] OSWorld: Benchmarking Multimodal Agents for Open-Ended Tasks in Real Computer Environments
InternGPT (iGPT) é uma plataforma de demonstração de código aberto onde você pode exibir facilmente seus modelos de IA. Agora, ele suporta DragGAN, ChatGPT, ImageBind, bate-papo multimodal como GPT-4, SAM, edição interativa de imagens, etc. Experimente em igpt.opengvlab.com (Sistema Demo online que suporta DragGAN, ChatGPT, ImageBind, SAM)
Perguntas Frequentes
Qual é o repositório de #multimodal mais popular no GitHub?
O projeto de código aberto de #multimodal mais bem classificado no GitHub é Mintplex-Labs/anything-llm, com 68,480 estrelas. Pare de alugar sua inteligência. Possua-a com AnythingLLM. Tudo que você precisa para uma poderosa experiência de agente local
Quais linguagens de programação são mais usadas nos repositórios de #multimodal?
Entre os projetos de #multimodal mais bem classificados no GitHub, as linguagens de programação mais comuns são Python, TypeScript, Rust, C++.
Como é calculada a classificação dos repositórios de #multimodal?
Acompanhamos 183 repositórios ativos de código aberto marcados com #multimodal (com mais de 500 estrelas), totalizando 700,629 estrelas e uma média de 3,828 estrelas por repositório. As classificações são atualizadas diariamente a partir da API do GitHub.