#multimodal Repositories
Insgesamt 183 Repositories
InternLM-XComposer2.5-OmniLive: Ein umfassendes multimodales System für langfristige Streaming-Video- und Audiointeraktionen
Die Kontextschicht für unstrukturierte Daten: typisierte, versionierte Datensätze über S3, GCS, Azure
Bilder zur Inferenz ohne Beschriftung (verwenden Sie Basismodelle, um beaufsichtigte Modelle zu trainieren).
Einfache Berechnung von Clip-Embeddings und Aufbau eines Clip-Retrieval-Systems damit
Optimierung des Fine-Tuning-Prozesses für multimodale Modelle: PaliGemma 2, Florence-2 und Qwen2.5-VL
Umfassende Ressourcen zu Generative AI, einschließlich einer detaillierten Roadmap, Projekten, Anwendungsfällen, Vorbereitung auf Vorstellungsgespräche und Codierungsvorbereitung.
[EMNLP-2024] Multimodale Sprachagenten für schnelle Prototypenentwicklung und Produktion erstellen
Offizielle Repository von OFA (ICML 2022). Paper: OFA: Unifying Architectures, Tasks, and Modalities Through a Simple Sequence-to-Sequence Learning Framework
HuixiangDou: Bewältigung von Gruppenchat-Szenarien mit LLM-basierter technischer Unterstützung
Eine kuratierte Sammlung von Fachartikeln, Benchmarks, Übersichtsarbeiten und Tools zur Modellquantisierung, die Low-Bit-Netzwerke, LLMs, multimodale und generative Modelle, Vektor- und Gitterquantisierung sowie eine effiziente Bereitstellung abdeckt.
(ෆ`꒳´ෆ) Eine Übersicht über Text-zu-Bild-Generierung/Synthese.
SDK für die Interaktion mit stability.ai APIs (z. B. Stable Diffusion Inference)
Roubao 2.0 für iPhone: ein quelloffener iOS-KI-Agent mit vom Besitzer autorisierter Micro-X-Benutzeroberflächensteuerung, benutzerdefinierten Modellen, fortsetzbaren Aufgaben und PDF-Berichten. Zur Laufzeit sind weder WLAN noch Jailbreak, Computer oder zusätzliche Hardware erforderlich (für die Einrichtung wird ein Mac mit USB benötigt). Die ältere Android-Version bleibt erhalten.
🎨 NeMo Data Designer: Generieren Sie hochwertige synthetische Daten von Grund auf oder aus Seed-Daten.
mPLUG-DocOwl: Modularisiertes multimodales großes Sprachmodell für das Dokumentenverständnis
Lassen Sie Claude (oder ein beliebiges LLM) tatsächlich ein Video ansehen — szenenbewusste, deduplizierte Frames + Transkript, von einer URL oder lokalen Datei. Läuft lokal, MIT.
GenAI Prozessoren ist eine leichtgewichtige Python-Bibliothek, die eine effiziente, parallele Inhaltsverarbeitung ermöglicht.
[ICLR & NeurIPS 2025] Repository für die Show-o-Serie, ein einziger Transformer zur Vereinheitlichung des multimodalen Verständnisses und der Generierung.
Eine Open-Source-Implementierung für das Fine-Tuning der Qwen-VL-Serie von Alibaba Cloud.
Implementierung von "BitNet: Skalierung von 1-Bit-Transformatoren für große Sprachmodelle" in PyTorch
Eine Sammlung origineller, innovativer Ideen und Algorithmen für fortgeschrittene literarische Maschinen. Dieses Projekt wird vom OCR-Team im Language Technology Lab des Tongyi Lab der Alibaba Group betreut.
Synthetisieren von Grafikprogrammen für wissenschaftliche Abbildungen und Skizzen mit TikZ.
WeMM-Embedding ist eine Familie universeller multimodaler Embedding-Modelle des WeChat Vision Teams bei Tencent, die multimodales Verstehen und Retrieval unterstützt.
Die Backend-Agenten werden erstellt mit: multimodaler Datenbank, Orchestrierung und Bereitstellung in einer Datei
Eine neuartige multimodale Large Language Model (MLLM)-Architektur, die entwickelt wurde, um visuelle und textuelle Einbettungen strukturell abzugleichen.
Holen Sie sich saubere Daten aus kniffligen Dokumenten, angetrieben von Vision-Language-Modellen ⚡
Geben Sie Claude die Fähigkeit, Videos zu sehen und zu verstehen — Claude Code‑Plugin mit Frame‑Extraktion und multimodaler Audioanalyse
Xtreme1 ist eine All-in-One-Plattform für Datenkennzeichnung und -annotation für das Training multimodaler Daten und unterstützt 3D-LiDAR-Punktwolken, Bilder und LLMs.
Dieses Repository ist die offizielle Implementierung von Disentangling Writer and Character Styles for Handwriting Generation (CVPR 2023)
Kuratierter visueller Katalog mit über 200 Architekturen von Vision-Language-Modellen (VLM/MLLM): Fachartikel, Diagramme, Trainingsrezepte, Datensätze und ein Veröffentlichungszeitplan für multimodale KI-Agenten.
Offline-Inferenz-Engine für Kunst, Echtzeit-Sprachgespräche, LLM-gestützte Chatbots und automatisierte Workflows
Sehen für reine Textagenten von DeepSeek Harness: integrierte kostenlose Bildverarbeitungskette (ohne Schlüssel) + pixelgenaue Vision-Tools (Fragen und Antworten, Grounding, Zuschneiden, Pixeldifferenz, Farben, OCR, SVG-Nachzeichnen, Freistellen, Screenshots). Installation mit einem einzigen Befehl, ohne Python; Bildrunden funktionieren wie gewöhnliche Tool-Aufruf-Runden.
Entwerfen Sie ein besseres visuelles Toolkit und Fähigkeiten für reine Textmodelle, um Bilder zu „sehen“, mit Unterstützung für Multi-Bild-Verständnis, Bildfragen, Frontend-UI-Wiederherstellung, GUI-Automatisierung usw., und optional nahtlose Integration mit mehreren gängigen Agenten sowie direkte Erkennung eingefügter Bilder | Ein visuelles Toolkit und Fähigkeiten, die für reine Text-LLMs entwickelt wurden: Bildfragen, OCR für lange Screenshots, Frontend-UI-Wiederherstellung und GUI-Automatisierung, mit optionaler nahtloser Integration für Codex, Claude Code, Pi, Oh My Pi und OpenCode
Verteiltes Training und Inferenz für multimodale Wahrnehmung: gemeinsame Embeddings für Text, Bilder, Video, Audio, Code und Graphen mit 64 bis 1.024 Dimensionen 🖼️
Multi-AI MCP-Server - Verbinden Sie ChatGPT, Claude, Gemini und Perplexity mit Ihren Coding-Tools ohne jegliche API
Ein Basismodell, das synchronisierte Videos und Audiodaten in einem einzigen Modell generiert