#multimodal Repositories
Insgesamt 183 Repositories
AI Manus ist ein universelles KI-Agentensystem, das die Ausführung verschiedener Tools und Vorgänge in einer Sandbox-Umgebung unterstützt.
AI Manus ist ein universelles KI-Agentensystem, das die Ausführung verschiedener Tools und Vorgänge in einer Sandbox-Umgebung unterstützt.
AI Manus ist ein universelles KI-Agentensystem, das die Ausführung verschiedener Tools und Vorgänge in einer Sandbox-Umgebung unterstützt.
Projektseite für "Seg-Zero: Reasoning-Chain-gesteuerte Segmentierung durch kognitive Verstärkung"
Hunyuan3D-Omni: Ein einheitliches Framework für die kontrollierbare Erzeugung von 3D-Assets
👁️ + 💬 + 🎧 = 🤖 Kuratierte Liste der besten Foundation- und multimodalen Modelle! [Paper + Code + Beispiele + Tutorials]
Dieses Repository stellt Programme zur Erstellung von Retrieval Augmented Generation (RAG)-Code für Generative AI mit LlamaIndex, Deep Lake und Pinecone bereit, wobei die Leistungsfähigkeit von OpenAI- und Hugging Face-Modellen für Generierung und Evaluierung genutzt wird.
Offizielle Implementierung für "Blended Latent Diffusion" [SIGGRAPH 2023]
Erkunden Sie den multimodalen "Aha-Moment" auf dem 2B-Modell
RAI ist ein vendor-agnostisches agentisches Framework für Physical-AI-Robotik, das ROS-2-Tools nutzt, um komplexe Aktionen, definierte Szenarien, freie Schnittstellen-Ausführung, Log-Zusammenfassungen, Sprachinteraktion und mehr durchzuführen.
Dieses Repository enthält den Evaluierungscode für das Paper „MMMU: A Massive Multi-discipline Multimodal Understanding and Reasoning Benchmark for Expert AGI“
Gib KI-Agenten Augen, Ohren und überprüfbare Ergebnisse. Watch Skill macht aus Videos, Audio und Bildschirmaktivitäten durchsuchbare, mit Zeitstempeln versehene Belege und weist Arbeit anhand deterministischer Verträge nach – nicht anhand von Modellmeinungen. DeepWatch ist der auf DeepSeek Harness basierende Arbeitsbereich für Agenten. Python + npm, MCP, CLI, REST, Web.
Erstellen Sie Browser-Automatisierung, als würden Sie einen Menschen mit GPT-4 Vision unterrichten.
Szenenbewusstes Storyboard für DeepSeek Harness: 9–16 nummerierte Felder mit Zeitstempeln + Transkript + Audiohüllkurve, gebündelt in EINEM Bild (384 Token). Zwei Tools: video_storyboard und video_zoom.
[ECCV2024] Geerdetes multimodales großes Sprachmodell mit lokalisierter visueller Tokenisierung
Offizielle Implementierung für "Blended Diffusion für textgesteuerte Bearbeitung natürlicher Bilder" [CVPR 2022]
LLaVA-Mini ist ein einheitliches großes multimodales Modell (LMM), das Bilder, hochauflösende Bilder und Videos auf effiziente Weise verstehen kann.
Echtzeit-Multimodal-Desktop-Agent, der sich zu einer permanent verfügbaren KI-Betriebssystemoberfläche entwickelt (0.17 α).
Flame ist ein Open-Source-multimodales KI-System, das entwickelt wurde, um UI-Design-Mockups in qualitativ hochwertigen React-Code zu übersetzen. Es nutzt Vision-Language-Modelling, automatisierte Datensynthese und strukturierte Trainings-Workflows, um die Lücke zwischen Design und Frontend-Entwicklung zu schließen.
Offizieller Code für OpenVLHarness: Tool-Nutzung visueller Agenten in der realen Welt mit multimodalem Gedächtnis
Ein Zentrum für verschiedene branchenspezifische Schemata zur Verwendung mit VLMs.
Großartige multimodale Modellierung [Umfasst MLLM, UMM und NMM]
Offizielle Implementierung für "Break-A-Scene: Extracting Multiple Concepts from a Single Image" [SIGGRAPH Asia 2023]
Offizieller Code von „EVF-SAM: Frühe Vision-Language-Fusion für Text-Prompt-basiertes Segment Anything Model“