#multimodal Repositories
Insgesamt 183 Repositories
Das WIT (Wikipedia-based Image Text) Dataset ist ein großes multimodales multilinguales Dataset, das über 37 Millionen Bild-Textulare mit über 11 Millionen einzigartigen Bildern in über 100 Sprachen umfasst.
[ICLR'24 Spotlight] Chinesische und Englische multimodale Großmodelle Serie (Chat und Paint) | Chinesisch-Englische zweisprachige multimodale große Modelle-Serie basierend auf dem CPM-Basismodell
[ECCV 2024 Best Paper Kandidat & TPAMI 2025] PointLLM: Große Sprachmodelle befähigen, Punktwolken zu verstehen
Ein allgemeines Repräsentationsmodell für visuelle, Audio- und Sprachmodalitäten. Arbeit: ONE-PEACE: Untersuchung eines allgemeinen Repräsentationsmodells für unbegrenzte Modalitäten
🩺 Das erste chinesische medizinische multimodale Modell, das Brust-Röntgenaufnahmen zusammenfassen kann.
Unternehmenstaugliche GenAI-Workflow-Plattform, agenten- und menschenfreundlich sowie modalitätsorientiert
Multimodales Chain-of-Thought Reasoning: Eine umfassende Übersichtsarbeit
Eine offizielle Implementierung für „CLIP4Clip: Eine empirische Studie von CLIP für die End-to-End-Videoclip-Suche“
Ressourcen, Beispiele und Tutorials für multimodale KI, RAG und Agenten mit Vektorsuche und LLMs
Offene multimodale Entscheidungsmodelle mit 0,8B bis 27B Parametern für Text, Bilder und Videos. Treffen Sie Entscheidungen anhand von Wahrscheinlichkeiten für eigene Kandidaten und lokalisieren Sie Objekte mit Begrenzungsrahmen, statt Text zu generieren. Kostenlose API, ONNX, GGUF, vLLM und SGLang; Fine-Tuning-Code enthalten.
⚡ Selbst hostbarer YesCaptcha-kompatibler CAPTCHA-Löser, gebaut mit FastAPI, Playwright und OpenAI-kompatiblen multimodalen Modellen.
Über Dieses Repository ist eine kuratierte Sammlung der aufregendsten und einflussreichsten CVPR 2025-Paper. 🔥 [Paper + Code + Demo]
Ein einheitliches multimodales Sprachmodell auf Basis der Modellierung diskreter Sequenzen
Lokale Überwachung + KI-Vision — LAN-basiertes Smartphone-gestütztes KI-Überwachungsframework mit strukturiertem Ereignisausgang für Datenerfassung und -analyse.
Halo ist ein von White Circle entwickeltes Open-Source-Framework zum Trainieren großer Sprachmodelle und multimodaler Modelle
Eine 11B-Modellreihe mit offenen Gewichten zum Verstehen von Langform- und Echtzeitvideos
Eine einfache, vereinheitlichte Trainings-Engine für multimodale Modelle. Schlank, flexibel und für Experimente im großen Maßstab konzipiert.
Ein lokales Plugin für bildreiche Chats in Codex, Claude Code und anderen KI-Agenten: Frühere Bilder werden durch kurze Platzhalter ersetzt, statt mit jeder Nachricht erneut gesendet zu werden. Das Modell ruft das Original anhand seiner ID ab (auch nach einer Komprimierung), und der Prompt-Cache funktioniert weiterhin.
[TMLR 2025🔥] Eine Übersicht über autoregressive Modelle in der Bildverarbeitung.
Bibliothek zur Unterstützung von NLP- und CV-Forschung zu wissenschaftlichen Arbeiten
Papierliste zu multimodalen und großen Sprachmodellen, die nur zur Aufzeichnung gelesener Papiere im täglichen Arxiv für persönliche Bedürfnisse verwendet wird.
Paddle Multimodal Integration and eXploration, unterstützt Mainstream-multimodale Aufgaben, einschließlich End-to-End-Large-Scale-multimodaler Vortrainingsmodelle und Diffusion-Model-Toolbox. Ausgestattet mit hoher Leistung und Flexibilität.
Ein Open-Source-Modell zum Verstehen von Sprache, Umgebungsgeräuschen und Musik durch Untertitelung, Beantwortung von Fragen und Schlussfolgerungen
Dieses Repository enthält den Code für "VLM2Vec / MMEB" [ICLR 2025], "VLM2Vec-V2 / MMEB-V2" [TMLR 2026] und "MMEB-V3" [COLM 2026]
[ECCV 2024] InstructIR: Hochwertige Bildwiederherstellung nach menschlichen Anweisungen https://huggingface.co/spaces/marcosv/InstructIR
Second Brain ist ein agentisches Framework, das als Betriebssystem fungiert und lokale Dateiintelligenz, Workflow-Automatisierung und LLMs nutzt, um Aufgaben zu erledigen und über mehrere Modalitäten und Messaging-Plattformen zu kommunizieren.
Ein universeller Agent Skill für holografische Sammelkarten – kompatibel mit jedem Host und multimodalen Modell. Erstelle aus einem einzigen Satz eine 3D-Kartenwebseite mit zieh- und drehbaren Karten, fließenden Lichteffekten und räumlicher Tiefe in mehreren Ebenen. Ein editierbares Blender-Projekt ist ebenfalls enthalten.
Eine native .NET-Inferenz-Engine für große Sprachmodelle (LLMs) und eine Agenten-Laufzeitumgebung für GGUF-Modelle. TensorSharp bietet eine Konsolenanwendung, eine webbasierte Chatbot-Oberfläche, eine iPhone-App sowie mit Ollama/OpenAI kompatible HTTP-APIs für den programmgesteuerten Zugriff. Es unterstützt Windows, macOS, iOS und Linux mit vollständiger GPU-Unterstützung.
AI Manus ist ein KI-Agentensystem für allgemeine Zwecke, das die Ausführung verschiedener Tools und Vorgänge in einer Sandbox-Umgebung unterstützt.
Eine asynchrone Reinforcement-Learning-Engine für omnimodales Post-Training im großen Maßstab
AI Manus ist ein universell einsetzbares KI-Agentensystem, das die Ausführung verschiedener Tools und Vorgänge in einer Sandbox-Umgebung unterstützt.
AI Manus ist ein universelles KI-Agentensystem, das die Ausführung verschiedener Tools und Vorgänge in einer Sandbox-Umgebung unterstützt.
✨✨Neueste Arbeiten und Benchmarks im Reasoning mit Foundation Models
AI Manus ist ein universelles KI-Agentensystem, das die Ausführung verschiedener Tools und Vorgänge in einer Sandbox-Umgebung unterstützt.
AI Manus ist ein KI-Agentensystem für allgemeine Zwecke, das die Ausführung verschiedener Tools und Vorgänge in einer Sandbox-Umgebung unterstützt.
AI Manus ist ein universelles KI-Agentensystem, das die Ausführung verschiedener Tools und Vorgänge in einer Sandbox-Umgebung unterstützt.
AI Manus ist ein universelles KI-Agentensystem, das die Ausführung verschiedener Tools und Vorgänge in einer Sandbox-Umgebung unterstützt.
AI Manus ist ein universelles KI-Agentensystem, das die Ausführung verschiedener Tools und Vorgänge in einer Sandbox-Umgebung unterstützt.
AI Manus ist ein universelles KI-Agentensystem, das die Ausführung verschiedener Tools und Vorgänge in einer Sandbox-Umgebung unterstützt.
AI Manus ist ein vielseitiges KI-Agentensystem, das die Ausführung verschiedener Tools und Operationen in einer Sandbox-Umgebung unterstützt.
AI Manus ist ein KI-Agentensystem für allgemeine Zwecke, das die Ausführung verschiedener Tools und Vorgänge in einer Sandbox-Umgebung unterstützt.
AI Manus ist ein vielseitiges KI-Agentensystem, das die Ausführung verschiedener Tools und Vorgänge in einer Sandbox-Umgebung unterstützt.