#multimodal-large-language-models Repositories
Entdecke 43 aktive Open-Source-GitHub-Repositories, die mit #multimodal-large-language-models getaggt sind und insgesamt 78,032 Sterne gesammelt haben (durchschnittlich 1,814 Sterne pro Projekt). Spitzenreiter in diesem Themenbereich ist BradyFU/Awesome-Multimodal-Large-Language-Models mit 18,090 Sternen.
Insgesamt 43 Repositories
:sparkles::sparkles:Neueste Fortschritte bei multimodalen großen Sprachmodellen
StarVector ist ein Basismodell für die SVG-Generierung, das die Vektorisierung in eine Code-Generierungsaufgabe umwandelt. Mithilfe einer Vision-Language-Modeling-Architektur verarbeitet StarVector sowohl visuelle als auch textuelle Eingaben, um qualitativ hochwertigen SVG-Code mit bemerkenswerter Präzision zu erzeugen.
LLaMA-Omni ist ein End-to-End-Sprachinteraktionsmodell mit geringer Latenz und hoher Qualität, das auf Llama-3.1-8B-Instruct basiert und darauf abzielt, Sprachfähigkeiten auf dem Niveau von GPT-4o zu erreichen.
Ein plattformübergreifendes Framework zur Videostrukturierung (Videoanalyse) basierend auf CV-Modellen und mLLM.
✨✨[NeurIPS 2025] VITA-1.5: Auf dem Weg zur Echtzeit-Seh- und Sprachinteraktion auf GPT-4o-Niveau
mPLUG-DocOwl: Modularisiertes multimodales großes Sprachmodell für das Dokumentenverständnis
Cambrian-1 ist eine Familie multimodaler LLMs mit einem visionzentrierten Design.
[ICML 2024] Beherrschung von Text-zu-Bild-Diffusion: Wiederbeschriftung, Planung und Generierung mit multimodalen LLMs (RPG)
Seed1.5-VL, ein vision-language Foundation Model, das die allgemeine multimodale Verständnis- und Schlussfolgerungsfähigkeit verbessern soll und eine Spitzenleistung bei 38 von 60 öffentlichen Benchmarks erzielt.
[ICLR2026] Dies ist das erste Papier, das untersucht, wie man R1‑ähnliches RL effektiv für MLLMs einsetzen kann und Vision‑R1 vorstellt, ein rationsierendes MLLM, das kalte Startinitialisierung und RL‑Training nutzt, um die Denkfähigkeit zu fördern.
Ein Fork zum Hinzufügen des multimodalen Modelltrainings zu open-r1
Eine neuartige multimodale Large Language Model (MLLM)-Architektur, die entwickelt wurde, um visuelle und textuelle Einbettungen strukturell abzugleichen.
Dieses Repository bietet wertvolle Referenzen für Forscher im Bereich Multimodalität, beginnen Sie Ihre Entdeckungsreise in RL-basierten Reasoning MLLMs!
Echtzeit-Sprachinteraktiver digitaler Mensch, mit anpassbarem Aussehen und anpassbarer Stimme, der Stimmklonung unterstützt und eine Gesprächsverzögerung von nur 3 Sekunden hat.
PyTorch-Implementierung von Audio Flamingo: Eine Reihe fortschrittlicher Sprachmodelle für das Audioverständnis
Lesehinweise zu multimodalen großen Sprachmodellen, großen Sprachmodellen und Diffusionsmodellen
Ein Framework zur Verarbeitung von Sprache, Sprache, Audio und Musik mit großen Sprachmodellen
Multimodales Chain-of-Thought Reasoning: Eine umfassende Übersichtsarbeit
Eine Sammlung von Ressourcen zu Anwendungen des multimodalen Lernens in der medizinischen Bildgebung.
Eine Papiersammlung einiger neuer Arbeiten über Token-Kompression für Vit und VLM
✨✨[CVPR 2025] Video-MME: Der allererste umfassende Bewertungsbenchmark für multimodale LLMs in der Videoanalyse
LLaVA-Plus: Große Sprach- und Sehassistenten, die sich anschließen und lernen, Fähigkeiten zu nutzen
Offizielles Repository und Implementierung der Evaluierung von VSI-Bench
[CVPR 2024] MovieChat: Von dichten Token zu spärlichem Gedächtnis für das Verständnis langer Videos
OmniVinci ist ein omnimodales LLM zum gemeinsamen Verständnis von Sehen (Vision), Audio und Sprache.
Persönliches Projekt: MPP-Qwen14B & MPP-Qwen-Next (Multimodale Pipeline-Parallelität basierend auf Qwen-LM). Unterstützt [video/image/multi-image] {sft/conversations}. Lassen Sie nicht zu, dass Armut Ihre Vorstellungskraft einschränkt! Trainieren Sie Ihr eigenes 8B/14B LLaVA-training-ähnliches MLLM auf RTX3090/4090 24GB.
(Akzeptiert von IJCV)Liquid: Sprachmodelle sind skalierbare und vereinheitlichte multimodale Generatoren
Eine Sammlung von Papieren, Codes, Datensätzen, Benchmarks und Ressourcen zum multimodalen Denken.
NeurIPS 2024 Paper: Ein vereinheitlichtes Pixel-Level Vision LLM zum Verstehen, Generieren, Segmentieren und Bearbeiten
LLaVA-Mini ist ein einheitliches großes multimodales Modell (LMM), das Bilder, hochauflösende Bilder und Videos auf effiziente Weise verstehen kann.
🔥🔥🔥 Eine kuratierte Liste von Arbeiten zur multimodalen Generierung auf Basis von LLMs (Bild, Video, 3D und Audio).
🌐 Vision-Language-Action-Modelle für autonomes Fahren: Vergangenheit, Gegenwart und Zukunft
Offizieller Code von „EVF-SAM: Frühe Vision-Language-Fusion für Text-Prompt-basiertes Segment Anything Model“
Häufig gestellte Fragen
Welches ist das beliebteste #multimodal-large-language-models-Repository auf GitHub?
Das am höchsten eingestufte Open-Source-#multimodal-large-language-models-Projekt auf GitHub ist BradyFU/Awesome-Multimodal-Large-Language-Models mit 18,090 Sternen. :sparkles::sparkles:Neueste Fortschritte bei multimodalen großen Sprachmodellen
Welche Programmiersprachen werden in #multimodal-large-language-models-Repositories am häufigsten verwendet?
Unter den am höchsten eingestuften #multimodal-large-language-models-Projekten auf GitHub sind Python, Jupyter Notebook, HTML, C++ die am häufigsten verwendeten Programmiersprachen.
Wie wird das Ranking der #multimodal-large-language-models-Repositories berechnet?
Wir verfolgen 43 aktive Open-Source-Repositories, die mit #multimodal-large-language-models getaggt sind (500+ Sterne), mit insgesamt 78,032 Sternen und durchschnittlich 1,814 Sternen pro Repository. Die Rankings werden täglich über die GitHub-API aktualisiert.