#multimodal-ai Repositories
Insgesamt 191 Repositories
[🚀 ICLR 2026 Oral] NextStep-1: SOTA Autogressive Bildgenerierung mit kontinuierlichen Tokens. Ein Forschungsprojekt, das vom Multimodal Intelligence Team von StepFun entwickelt wurde.
Twitter-Daten-Scraping, einbettungsbasierte Bildersuche und mehr.
Ming – ermöglicht erweiterte multimodale Verständnis- und Generierungsfunktionen, die auf dem Ling LLM basieren.
Agentic ADK ist ein Framework zur Entwicklung von Agentenanwendungen, das von Alibaba International AI Business auf Basis von Google-ADK und Ali-LangEngine gestartet wurde.
Lokale Ollama- und OpenAI-ähnliche GPT-Unterstützung für maximale Privatsphäre und Offline-Zugriff
[CVPR 2024] Panda-70M: 70 Millionen Videos mit mehreren Cross-Modality-Lehrern kommentieren
Open-Source-Framework zur Entwicklung von multimodalen Konversations-KI-Agenten in Echtzeit.
Eine kuratierte Sammlung von Forschungsarbeiten, die die Nutzung von LLMs für graphenbezogene Aufgaben untersuchen.
ComfyUI Lumi Batcher ist ein Batch-Verarbeitungs-Erweiterungs-Plugin für ComfyUI, das darauf abzielt, die Effizienz des Workflow-Debuggings zu verbessern. Herkömmliche Debugging-Methoden erfordern eine schrittweise Anpassung der Parameter, während dieses Tool die Arbeitseffizienz durch Batch-Verarbeitungsfunktionen erheblich steigert.
Offizielle Implementierung von "Lumina-mGPT: Flexible fotorealistische Text-zu-Bild-Generierung mit multimodaler generativer Vortrainierung beleuchten"
ComfyUI-Knoten für Janus-Pro, ein einheitliches multimodales Verstehens- und Generierungs-Framework.
Wir sammeln Arbeiten über „große Sprachmodelle (LLM) für tabellenbezogene Aufgaben“, z. B. die Verwendung von LLM für die Table QA-Aufgabe. „Tabelle + LLM“-bezogene Papiersammlung
Chatten Sie mit Ihren Dokumenten mithilfe von Vision Language Models. Dieses Repository implementiert eine End-to-End-RAG-Pipeline mit lokalen und proprietären VLMs.
(CVPR 2025 Highlight✨) Offizielles Repository des Papers "LLMDet: Learning Strong Open-Vocabulary Object Detectors under the Supervision of Large Language Models"
Offizielle Code-Implementierung von Vary-toy (Small Language Model trifft auf Reinforced Vision Vocabulary)
Eine neuartige Methode zur Mensch-Interaktion für die Echtzeit-Sprachextraktion auf Kopfhörern.
Offizielles Repository für „Glyph: Skalierung von Kontextfenstern durch visuell-textuelle Komprimierung“
Framework, das die Feinabstimmung von Vision-Sprache Verankerungsmodellen auf benutzerdefinierten Datensätzen ermöglicht
Wandeln Sie den Webdienst von Claude in einen API-Dienst um, der Bilderkennung, Datei-Upload, Denk-Ausgabe usw. unterstützt...
Codierung eines multimodalen (Vision) Sprachmodells von Grund auf in PyTorch mit vollständiger Erklärung: https://www.youtube.com/watch?v=vAmKB7iPkWw
Official Implementations of "Cheap and Quick: Efficient Vision-Language Instruction Tuning für Large Language Models" zum NeurIPS 2023