#vlm Repositorios
89 repositorios en total
🚀 Biblioteca de entrenamiento nativo distribuido de Pytorch para LLMs/VLMs con soporte inmediato para Hugging Face
Modelos abiertos de decisión multimodal, de 0,8B a 27B, para texto, imágenes y vídeo. Decide asignando probabilidades a tus propios candidatos y localiza con cuadros delimitadores, en lugar de generar texto. API gratuita, ONNX, GGUF, vLLM y SGLang; incluye código de ajuste fino.
MindSpore + 🤗Huggingface: Ejecute cualquier modelo de Transformers/Diffusers en MindSpore con compatibilidad y aceleración perfectas.
【Nuevo modo de agente inteligente】Asistente GPT para Android en todos los escenarios, activable con teclas de volumen para interacción por voz, soporta conexión a internet, toma de fotos, plantillas, análisis de PDF y documentos de Office, y modo agente.
UniWorld: Codificadores semánticos de alta resolución para la comprensión y generación visual unificada
Un framework de alto rendimiento para entrenar LLM, VLM, modelos de difusión y modelos incorporados en GPU NVIDIA y XPU Kunlun. Admite Pi0.5, GR00T-N1.7, FastWAM, Cosmos3, DreamZero, DeepSeek-V4, GLM-5.3, Kimi-K3 y más.
[EMNLP 2026] MobileGym: Una plataforma de simulación verificable y altamente paralela para la investigación de agentes de GUI móvil · Simulador de Android alojado en el navegador · Evaluación verificable · Entrenamiento de RL en línea escalable
Una serie de modelos de 11B con pesos abiertos para la comprensión de videos de larga duración y en tiempo real
Una lista seleccionada de artículos de Visión 3D relacionados con el dominio de la Robótica en la era de los modelos grandes, es decir, LLMs/VLMs, inspirada en awesome-computer-vision, que incluye artículos, códigos y sitios web relacionados
[CVPR 2026🔥] 🧑🎨 OmniLottie, un generador de animaciones vectoriales multimodales de código abierto que produce archivos Lottie JSON.
🚀🚀🚀Una colección de algunos proyectos públicos impresionantes sobre Modelos de Lenguaje Grandes (LLM), Modelos de Visión y Lenguaje (VLM), Acción Visión-Lenguaje (VLA), Contenido Generado por IA (AIGC), los Datasets y Aplicaciones relacionados.
Una plataforma de ingeniería VLA todo en uno para IA encarnada: desde los datos hasta el despliegue en robots reales.
Dingo: Una herramienta integral de evaluación de la calidad de datos, modelos y aplicaciones de IA
[ECCV 2026] SparkVSR: Superresolución de video interactiva mediante propagación de fotogramas clave dispersos
Este repositorio contiene el código de "VLM2Vec / MMEB" [ICLR 2025], "VLM2Vec-V2 / MMEB-V2" [TMLR 2026] y "MMEB-V3" [COLM 2026]
Avanza con tu propia inteligencia: escribe aplicaciones en Go que integren directamente llama.cpp para realizar inferencia local mediante aceleración de hardware en Linux, macOS, Windows y WebAssembly.
[CVPR 2024 🔥] GeoChat, el primer modelo de lenguaje visual a gran escala anclado para teledetección
Paquete de habilidades de agente de IA para narración de videos: corta escenas automáticamente, analiza las imágenes para escribir el guion de narración, añade la voz en off y mezcla el audio para producir el video final; permite exportar borradores para Jianying/CapCut, sin necesidad de GPU | Habilidades de agente para resúmenes narrados de videos y borradores de CapCut
🤗 Optimum Intel: Acelera la inferencia con herramientas de optimización de Intel
RAI es un marco agente agnóstico de proveedores para robótica de IA Física, que utiliza herramientas de ROS 2 para realizar acciones complejas, escenarios definidos, ejecución de interfaz libre, resúmenes de registros, interacción por voz y más.
Herramienta Node Creative Coding / 3D / Procesamiento de imágenes inspirada en Quartz Composer
Escalabilidad en los juegos: preentrenamiento continuo de agentes corporizados en diversos mundos virtuales. Pesos en Hugging Face.
Nodos de ComfyUI para modelos de visión-lenguaje: Qwen3-VL, Moondream 3, Florence-2, SmolVLM2, InternVL, Gemma 3, MiniCPM-V. Además de detección de vocabulario abierto, segmentación SAM2/SAM3, razonamiento temporal de video, GGUF a través de llama.cpp y APIs de LLM/VLM alojadas.
Usa el reMarkable2 como interfaz para vision-LLMs (ChatGPT, Claude, Gemini). ¡Fantasma en la máquina!
Flame es un sistema de IA multimodal de código abierto diseñado para traducir maquetas de diseño de UI en código React de alta calidad. Aprovecha el modelado de visión y lenguaje, la síntesis de datos automatizada y los flujos de trabajo de entrenamiento estructurados para cerrar la brecha entre el diseño y el desarrollo front-end.
Un centro para varios esquemas específicos de la industria para usar con VLMs.
Modelado multimodal impresionante [Cubre MLLM, UMM y NMM]
ScreenAgent: Un agente de control de computadora impulsado por un modelo grande de lenguaje visual (IJCAI-24)
🌐 Modelos de visión, lenguaje y acción para la conducción autónoma: pasado, presente y futuro
[Awesome-Spatial-VLMs] Este repositorio es el recurso oficial, mantenido por la comunidad, para el artículo de revisión: Spatial Intelligence in Vision-Language Models: A Comprehensive Survey;
Una lista curada de excelentes artículos sobre IA incorporada y recursos relacionados de investigación e industria.
🚀🚀🚀 Este repositorio enumera algunos proyectos públicos increíbles de CUDA, cuda-python, cuBLAS, cuDNN, CUTLASS, TensorRT, TensorRT-LLM, Triton, TVM, MLIR, PTX y Computación de Alto Rendimiento (HPC).