#vlm Repositórios
89 repositórios no total
🚀 Biblioteca de treinamento nativo distribuído Pytorch para LLMs/VLMs com suporte imediato ao Hugging Face
Modelos abertos de decisão multimodal, de 0,8B a 27B, para texto, imagens e vídeo. Tome decisões atribuindo probabilidades aos seus próprios candidatos e localize elementos com caixas delimitadoras, em vez de gerar texto. API gratuita, ONNX, GGUF, vLLM e SGLang; código de ajuste fino incluído.
Série NEO: Modelos Nativos de Visão-Linguagem a Partir dos Primeiros Princípios
MindSpore + 🤗Huggingface: Execute qualquer modelo Transformers/Diffusers no MindSpore com compatibilidade e aceleração perfeitas.
【Novo modo de agente inteligente】Assistente GPT para Android em todos os cenários, ativável via teclas de volume para interação por voz, suporta rede, fotos, templates, análise de PDF e documentos Office, e modo agente.
UniWorld: Codificadores Semânticos de Alta Resolução para Compreensão e Geração Visual Unificadas
Um framework de alto desempenho para treinar LLMs, VLMs, modelos de difusão e modelos incorporados em GPUs NVIDIA e XPUs Kunlun. Oferece suporte a Pi0.5, GR00T-N1.7, FastWAM, Cosmos3, DreamZero, DeepSeek-V4, GLM-5.3, Kimi-K3 e muito mais.
[EMNLP 2026] MobileGym: Uma plataforma de simulação verificável e altamente paralela para pesquisa de agentes de GUI móvel · Simulador de Android executado no navegador · Avaliação verificável · Treinamento escalável de RL online
Uma série de modelos de 11B com pesos abertos para compreensão de vídeos longos e em tempo real
Uma lista selecionada de artigos de Visão 3D relacionados ao domínio da Robótica na era dos grandes modelos, ou seja, LLMs/VLMs, inspirada em awesome-computer-vision, incluindo artigos, códigos e websites relacionados
[CVPR 2026🔥] 🧑🎨 OmniLottie, um gerador de animações vetoriais multimodais de código aberto que produz arquivos JSON Lottie.
🚀🚀🚀Uma coleção de projetos públicos incríveis sobre Modelos de Linguagem Grandes (LLM), Modelos de Linguagem Visual (VLM), Ação de Linguagem Visual (VLA), Conteúdo Gerado por IA (AIGC), os Datasets e Aplicações relacionados.
Uma plataforma de engenharia VLA tudo-em-um para IA incorporada — desde dados até a implantação em robôs reais.
Dingo: Uma Ferramenta Abrangente de Avaliação da Qualidade de Dados, Modelos e Aplicações de IA
[ECCV 2026] SparkVSR: Super-resolução de vídeo interativa via propagação de quadros-chave esparsos
Este repositório contém o código para "VLM2Vec / MMEB" [ICLR 2025], "VLM2Vec-V2 / MMEB-V2" [TMLR 2026] e "MMEB-V3" [COLM 2026]
Avance com sua própria inteligência: escreva aplicações em Go que integrem diretamente o llama.cpp para realizar inferência local com aceleração de hardware no Linux, macOS, Windows e WebAssembly.
[CVPR 2024 🔥] GeoChat, o primeiro Grande Modelo de Linguagem Visual fundamentado para Sensoriamento Remoto
Pacote de habilidades de agente de IA para narração de vídeos: corta cenas automaticamente, analisa as imagens para escrever o roteiro da narração, adiciona a locução e mixa o áudio para produzir o vídeo final; permite exportar rascunhos para Jianying/CapCut, sem necessidade de GPU | Habilidades de agente para resumos de vídeo narrados e rascunhos do CapCut
🤗 Optimum Intel: Acelere a inferência com ferramentas de otimização Intel
RAI é um framework agentic agnóstico de fornecedores para robótica Physical AI, utilizando ferramentas ROS 2 para realizar ações complexas, cenários definidos, execução de interface livre, resumos de logs, interação por voz e mais.
Ferramenta Node Creative Coding / 3D / Processamento de Imagens inspirada no Quartz Composer
Escalabilidade em jogos: pré-treinamento contínuo de agentes incorporados em diversos mundos virtuais. Pesos disponíveis no Hugging Face.
Nós do ComfyUI para modelos de visão-linguagem: Qwen3-VL, Moondream 3, Florence-2, SmolVLM2, InternVL, Gemma 3, MiniCPM-V. Além de detecção de vocabulário aberto, segmentação SAM2/SAM3, raciocínio temporal de vídeo, GGUF via llama.cpp e APIs de LLM/VLM hospedadas.
Use o reMarkable2 como interface para vision-LLMs (ChatGPT, Claude, Gemini). Fantasma na máquina!
Flame é um sistema de IA multimodal de código aberto projetado para traduzir mockups de design de UI em código React de alta qualidade. Ele aproveita a modelagem visão-linguagem, a síntese automatizada de dados e fluxos de trabalho de treinamento estruturados para preencher a lacuna entre o design e o desenvolvimento front-end.
ScreenAgent: Um Agente de Controle de Computador Impulsionado por um Modelo Grande de Linguagem Visual (IJCAI-24)
🌐 Modelos de visão, linguagem e ação para a condução autónoma: passado, presente e futuro
[Awesome-Spatial-VLMs] Este repositório é o recurso oficial, mantido pela comunidade, para o artigo de revisão: Spatial Intelligence in Vision-Language Models: A Comprehensive Survey.
Uma lista curada de excelentes artigos sobre IA incorporada e recursos relacionados de pesquisa/indústria.
🚀🚀🚀 Este repositório lista alguns projetos públicos incríveis de CUDA, cuda-python, cuBLAS, cuDNN, CUTLASS, TensorRT, TensorRT-LLM, Triton, TVM, MLIR, PTX e Computação de Alto Desempenho (HPC).