#vision-language-model Repositories
Insgesamt 82 Repositories
[dsh] Ein leistungsfähigeres visuelles Toolkit für reine Textmodelle: Installation und Nutzung mit einer einzigen Zeile, direkte Bilderkennung durch Einfügen von Bildern, Fragen und Antworten zu mehreren Bildern, Wiederherstellung der Frontend-UI aus Screenshots und vieles mehr|Native DeepSeek-Harness-Integration für agent-vision-toolkit: Bildfragen und -antworten, OCR für lange Screenshots, UI-Wiederherstellung, Grounding, Pixel-Diff, Artifacts und Web UI.
[CVPR 2024 Highlight🔥] Chat-UniVi: Unified Visual Representation Ermöglicht großen Sprachmodellen das Verstehen von Bildern und Videos
Offene multimodale Entscheidungsmodelle mit 0,8B bis 27B Parametern für Text, Bilder und Videos. Treffen Sie Entscheidungen anhand von Wahrscheinlichkeiten für eigene Kandidaten und lokalisieren Sie Objekte mit Begrenzungsrahmen, statt Text zu generieren. Kostenlose API, ONNX, GGUF, vLLM und SGLang; Fine-Tuning-Code enthalten.
Über Dieses Repository ist eine kuratierte Sammlung der aufregendsten und einflussreichsten CVPR 2025-Paper. 🔥 [Paper + Code + Demo]
[NeurIPS 2025 Spotlight] OpenCUA: Offene Grundlagen für Computer-Nutzungsagenten
[CVPR 2024] Alpha-CLIP: Ein CLIP-Modell, das sich auf jeden beliebigen Punkt konzentriert
Eine 11B-Modellreihe mit offenen Gewichten zum Verstehen von Langform- und Echtzeitvideos
🍃 MINT-1T: Ein multimodaler verschränkter Datensatz mit einer Billion Token.
Eine kuratierte Liste von 3D-Vision-Papieren im Bereich Robotik im Zeitalter großer Modelle, d. h. LLMs/VLMs, inspiriert von Awesome-Computer-Vision, einschließlich Papieren, Codes und verwandten Websites
VoxPoser: Komponierbare 3D-Werteabbildungen für die Robotermanipulation mit Sprachmodellen
Eine kuratierte Liste von hervorragenden Prompt/Adapter-Lernmethoden für Vision-Language-Modelle wie CLIP.
[ICLR 2026] Die offizielle Implementierung von "Soft-Prompted Transformer as Scalable Cross-Embodiment Vision-Language-Action Model"
OmniVinci ist ein omnimodales LLM zum gemeinsamen Verständnis von Sehen (Vision), Audio und Sprache.
Bilinguale (Chinesisch + Englisch) Spickzettel für Vorstellungsgespräche zu ML / LLM / Diffusion / Agenten im herbstlichen KI-Recruiting — erstellt mit ARIS /interview-cheatsheet und von /render-html als überall lesbare einteilige HTML-Dateien gerendert — außerdem ein anhand von CV→DBLP faktengeprüfter Generator für akademische Homepages sowie selbst verfasste Langform-Blogs 🌱
[CVPR 2026] SpatialVID: Ein großangelegtes Videodataset mit räumlichen Annotationen
🎉 PILOT: Eine auf vortrainierten Modellen basierende Toolbox für kontinuierliches Lernen
Die erfolgreiche Integration der Qwen3-VL-Instruct-Serie in die ComfyUI-Plattform hat einen reibungslosen Betrieb ermöglicht, der (aber nicht ausschließlich) textbasierte Abfragen, Videoabfragen, Abfragen mit einem einzigen Bild sowie Abfragen mit mehreren Bildern zur Erzeugung von Untertiteln oder Antworten unterstützt.
[ECCV2024] Geerdetes multimodales großes Sprachmodell mit lokalisierter visueller Tokenisierung
LLaVA-Mini ist ein einheitliches großes multimodales Modell (LMM), das Bilder, hochauflösende Bilder und Videos auf effiziente Weise verstehen kann.
Flame ist ein Open-Source-multimodales KI-System, das entwickelt wurde, um UI-Design-Mockups in qualitativ hochwertigen React-Code zu übersetzen. Es nutzt Vision-Language-Modelling, automatisierte Datensynthese und strukturierte Trainings-Workflows, um die Lücke zwischen Design und Frontend-Entwicklung zu schließen.
Die Chatbot Arena trifft auf Multimodalität! Die Multi-Modality Arena ermöglicht es Ihnen, Vision-Language-Modelle nebeneinander zu benchmarken, während Bilder als Eingaben bereitgestellt werden. Unterstützt werden MiniGPT-4, LLaMA-Adapter V2, LLaVA, BLIP-2 und viele mehr!
Code- und Implementierungsrichtlinien für das Papier ✨Counting Anything. Projektseite: https://mengqi-lei.github.io/count-anything-projectpage/
[Awesome-Spatial-VLMs] Dieses Repository ist die offizielle, von der Community gepflegte Ressource für das Übersichts-Paper: Spatial Intelligence in Vision-Language Models: A Comprehensive Survey.
Bestärkendes Lernen mit Weltmodellen für VLM-Agenten mit mehreren Dialogrunden. Framework für bestärkendes Lernen im Bereich Vision (NeurIPS 2025).
Eine umfassende Liste exzellenter Forschungsarbeiten, Modelle, Datensätze und anderer Ressourcen zu Vision‑Language‑Action (VLA) Modellen in der Robotik.