#multimodal-ai Repositorios
191 repositorios en total
VeOmni: Escalando el entrenamiento de modelos de cualquier modalidad con un zoológico de recetas distribuidas centrado en el modelo
Awesome-LLM-3D: una lista curada de modelos de lenguaje grandes multimodales en el mundo 3D Recursos
Repositorio oficial de 'Visual-RFT: Visual Reinforcement Fine-Tuning' & 'Visual-ARFT: Visual Agentic Reinforcement Fine-Tuning’
Asistente Lingüístico-Visual a Gran Escala para Biomedicina, desarrollado hacia capacidades multimodales de nivel GPT-4.
【LLMs Torre del Demonio de Nueve Capas】Compartiendo experiencias prácticas y conocimientos sobre LLMs en campos como el procesamiento del lenguaje natural (ChatGLM, Chinese-LLaMA-Alpaca, Xiaoyangtuo Vicuna, LLaMA, GPT4ALL, etc.), recuperación de información (langchain), síntesis de lenguaje, reconocimiento de lenguaje, multimodal (Stable Diffusion, MiniGPT-4, VisualGLM-6B, Ziya-Visual, etc.).
Extrae datos estructurados e información valiosa de documentos mediante modelos de lenguaje grandes y modelos de decisión
HunyuanOCR-1.5: Haciendo que los VLM de OCR ligeros sean más rápidos y mejores
El repositorio oficial del chat Qwen2-Audio y del modelo de lenguaje de audio grande preentrenado propuesto por Alibaba Cloud.
Recetas para reducir, optimizar y personalizar modelos de visión de vanguardia. 💜
El Blueprint de IA de NVIDIA para búsqueda y resumen de video (VSS) es una arquitectura de referencia acelerada por GPU para construir agentes de análisis de video con alertas verificadas en tiempo real, preguntas y respuestas visuales, e informes automatizados. El Blueprint VSS utiliza modelos de lenguaje visual (VLM) como NVIDIA Cosmos, LLM como NVIDIA Nemotron, RAG y NVIDIA NIM.
Búsqueda semántica. Busque fotos y videos locales a través del lenguaje natural. Búsqueda semántica de IA de material local. Buscar por imagen, encontrar material local, hacer coincidir escenas mediante descripciones de texto, buscar fotogramas de video, buscar videos por descripciones de escenas.
Chatbot Ollama es una interfaz de chat de código abierto para Ollama.
EVA OS: un AIOS multimodal en tiempo real para hardware de próxima generación, que permite que sus dispositivos estén "vivos" y sean tan inteligentes como un cerebro real.
OpenGUI es un marco de trabajo de agentes de GUI para Android diseñado para IA en teléfonos, capaz de ver, planificar y operar aplicaciones móviles reales a través de la interfaz gráfica.
TorchMultimodal es una biblioteca de PyTorch para entrenar modelos multimodales y multitarea de última generación a escala.
Servidor de inferencia de LLM de alto rendimiento compatible con OpenAI y Anthropic para Apple Silicon. MLX nativo, procesamiento por lotes continuo, modelos multimodales, llamadas a herramientas MCP y soporte para Claude Code.
Ragflow-Plus es una versión de desarrollo secundario de Ragflow, lo que la hace más concisa y práctica
Recopila algunos artículos sobre transformadores para detección y segmentación. Awesome Detection Transformer para Visión Artificial (CV)
Catálogo visual seleccionado de más de 200 arquitecturas de modelos de visión y lenguaje (VLM/MLLM): artículos, diagramas, recetas de entrenamiento, conjuntos de datos y una cronología de lanzamientos de agentes de IA multimodales.
📰 Artículos y blogs de lectura obligatoria sobre Decodificación Especulativa ⚡️
Su agente autónomo abierto para Android: un asistente de IA listo para producción, autoplanificador, impulsado por LLM locales/remotos y automatización de pantalla basada en accesibilidad.
[ICML'26 & COLM'26] Serie Agent0: Agentes autoevolutivos a partir de datos cero
OpenTSLM: Modelos de lenguaje de series temporales para el razonamiento sobre datos multivariantes de texto médico y series temporales
El repositorio oficial de GitHub para el artículo de revisión «A Survey on Diffusion Language Models».