#mllm Repositories
Entdecke 39 aktive Open-Source-GitHub-Repositories, die mit #mllm getaggt sind und insgesamt 95,941 Sterne gesammelt haben (durchschnittlich 2,460 Sterne pro Projekt). Spitzenreiter in diesem Themenbereich ist microsoft/unilm mit 22,247 Sternen.
Insgesamt 39 Repositories
Großflächiges selbstüberwachtes Pre-Training über Aufgaben, Sprachen und Modalitäten
[NeurIPS 2025] SpatialLM: Training Large Language Models for Structured Indoor Modeling
[CVPR'25] Offizielle Implementierungen für Paper - MagicQuill: Ein intelligentes interaktives Bildbearbeitungssystem
Code und Modelle für die ICML 2024-Arbeit, NExT-GPT: Any-to-Any Multimodales großes Sprachmodell
InternLM-XComposer2.5-OmniLive: Ein umfassendes multimodales System für langfristige Streaming-Video- und Audiointeraktionen
mPLUG-DocOwl: Modularisiertes multimodales großes Sprachmodell für das Dokumentenverständnis
Cambrian-1 ist eine Familie multimodaler LLMs mit einem visionzentrierten Design.
🚀🚀🚀 Eine Sammlung einiger großartiger öffentlicher YOLO-Objekterkennungs-Serienprojekte und der zugehörigen Objekterkennungsdatensätze.
Offizielles Repository für die Pixel-LLM-Codebasis: Sa2VA (T-PAMI-26), SAMTok (CVPR-26), VRT (Arxiv-25), SaSaSa2VA (1. Lösung für LSVOS)
Kuratierter visueller Katalog mit über 200 Architekturen von Vision-Language-Modellen (VLM/MLLM): Fachartikel, Diagramme, Trainingsrezepte, Datensätze und ein Veröffentlichungszeitplan für multimodale KI-Agenten.
Vollständig offener Rahmen für demokratisiertes multimodales Training
OpenEMMA, eine permissiv lizenzierte Open-Source-"Reproduktion" von Waymos EMMA-Modell.
[NeurIPS' 2025] JarvisArt: Befreiung menschlicher künstlerischer Kreativität durch einen intelligenten Foto-Retusche-Agenten
"Osprey: Pixel Understanding with Visual Instruction Tuning" – Der Code für [CVPR2024]
[NeurIPS 2025] 4KAgent: Agentic Any Image zu 4K Super-Resolution. Ein intelligenter Computersicht-Agent, der jedes Bild magisch in perfektes 4K wiederherstellen kann!
[NeurIPS 2025 spotlight] Offizielle Implementierung von "FutureSightDrive: Visuelles Denken mit räumlich-zeitlichem CoT für autonomes Fahren"
🚀🚀🚀Eine Sammlung einiger beeindruckender öffentlicher Projekte zu Large Language Models (LLM), Vision Language Models (VLM), Vision Language Action (VLA), AI Generated Content (AIGC), den dazugehörigen Datensätzen und Anwendungen.
Dies ist ein Repository zum Auflisten von Artikeln zur Szenengraph-Generierung und -Anwendung.
Persönliches Projekt: MPP-Qwen14B & MPP-Qwen-Next (Multimodale Pipeline-Parallelität basierend auf Qwen-LM). Unterstützt [video/image/multi-image] {sft/conversations}. Lassen Sie nicht zu, dass Armut Ihre Vorstellungskraft einschränkt! Trainieren Sie Ihr eigenes 8B/14B LLaVA-training-ähnliches MLLM auf RTX3090/4090 24GB.
[ICLR 2025] FakeShield: Erklärbare Erkennung und Lokalisierung von Bildfälschungen mittels multimodaler großer Sprachmodelle
Emotion-LLaMA: Multimodale Emotionserkennung und -schlussfolgerung durch Anweisungstuning
[ICLR2026] Offizielle Implementierung für "JanusVLN: Entkopplung von Semantik und Räumlichkeit mit dualem implizitem Gedächtnis für Vision-Language-Navigation"
ComfyUI-Nodes für Vision-Language-Modelle: Qwen3-VL, Moondream 3, Florence-2, SmolVLM2, InternVL, Gemma 3, MiniCPM-V. Sowie Open-Vocabulary-Erkennung, SAM2/SAM3-Segmentierung, zeitliche Videobetrachtung, GGUF via llama.cpp und gehostete LLM/VLM-APIs.
[ECCV2024] Geerdetes multimodales großes Sprachmodell mit lokalisierter visueller Tokenisierung
NeurIPS 2024 Paper: Ein vereinheitlichtes Pixel-Level Vision LLM zum Verstehen, Generieren, Segmentieren und Bearbeiten
Offizieller Code für OpenVLHarness: Tool-Nutzung visueller Agenten in der realen Welt mit multimodalem Gedächtnis
Großartige multimodale Modellierung [Umfasst MLLM, UMM und NMM]
🔥🔥🔥 Eine kuratierte Liste von Arbeiten zur multimodalen Generierung auf Basis von LLMs (Bild, Video, 3D und Audio).
Eine vollständig in Rust entwickelte Inferenz-Engine für LLMs, VLMs, VLAs, TTS und OCR, angetrieben von Candle und Rust. Eine Alternative zu llama.cpp, die viel einfacher und übersichtlicher ist.
[Awesome-Spatial-VLMs] Dieses Repository ist die offizielle, von der Community gepflegte Ressource für das Übersichts-Paper: Spatial Intelligence in Vision-Language Models: A Comprehensive Survey.
Häufig gestellte Fragen
Welches ist das beliebteste #mllm-Repository auf GitHub?
Das am höchsten eingestufte Open-Source-#mllm-Projekt auf GitHub ist microsoft/unilm mit 22,247 Sternen. Großflächiges selbstüberwachtes Pre-Training über Aufgaben, Sprachen und Modalitäten
Welche Programmiersprachen werden in #mllm-Repositories am häufigsten verwendet?
Unter den am höchsten eingestuften #mllm-Projekten auf GitHub sind Python, Jupyter Notebook, Markdown, JavaScript die am häufigsten verwendeten Programmiersprachen.
Wie wird das Ranking der #mllm-Repositories berechnet?
Wir verfolgen 39 aktive Open-Source-Repositories, die mit #mllm getaggt sind (500+ Sterne), mit insgesamt 95,941 Sternen und durchschnittlich 2,460 Sternen pro Repository. Die Rankings werden täglich über die GitHub-API aktualisiert.