#vlm Repositories
Insgesamt 89 Repositories
🚀 Pytorch Distributed native Trainingsbibliothek für LLMs/VLMs mit sofortiger Hugging Face-Unterstützung
Offene multimodale Entscheidungsmodelle mit 0,8B bis 27B Parametern für Text, Bilder und Videos. Treffen Sie Entscheidungen anhand von Wahrscheinlichkeiten für eigene Kandidaten und lokalisieren Sie Objekte mit Begrenzungsrahmen, statt Text zu generieren. Kostenlose API, ONNX, GGUF, vLLM und SGLang; Fine-Tuning-Code enthalten.
MindSpore + 🤗Huggingface: Führen Sie jedes Transformers/Diffusers-Modell auf MindSpore mit nahtloser Kompatibilität und Beschleunigung aus.
【Neuer Agentenmodus】Android-GPT-Assistent für alle Szenarien, per Lautstärketasten aufrufbar für Sprachinteraktion, unterstützt Vernetzung, Fotografieren, Vorlagen, Parsing von PDF- und Office-Dokumenten sowie Agentenmodus.
UniWorld: Hochauflösende semantische Encoder für einheitliches visuelles Verstehen und Generieren
Ein leistungsstarkes Framework zum Training von LLMs, VLMs, Diffusionsmodellen und verkörperten Modellen auf NVIDIA-GPUs und Kunlun-XPUs. Unterstützt Pi0.5, GR00T-N1.7, FastWAM, Cosmos3, DreamZero, DeepSeek-V4, GLM-5.3, Kimi-K3 und weitere Modelle.
[EMNLP 2026] MobileGym: Eine überprüfbare und hochparallele Simulationsplattform für die Forschung an mobilen GUI-Agenten · Im Browser gehosteter Android-Simulator · Überprüfbare Evaluierung · Skalierbares Online-RL-Training
Eine 11B-Modellreihe mit offenen Gewichten zum Verstehen von Langform- und Echtzeitvideos
Eine kuratierte Liste von 3D-Vision-Papieren im Bereich Robotik im Zeitalter großer Modelle, d. h. LLMs/VLMs, inspiriert von Awesome-Computer-Vision, einschließlich Papieren, Codes und verwandten Websites
[CVPR 2026🔥] 🧑🎨 OmniLottie, ein Open‑Source-Generator für multimodale Vektoranimationen, der Lottie‑JSONs erzeugt.
🚀🚀🚀Eine Sammlung einiger beeindruckender öffentlicher Projekte zu Large Language Models (LLM), Vision Language Models (VLM), Vision Language Action (VLA), AI Generated Content (AIGC), den dazugehörigen Datensätzen und Anwendungen.
Eine All-in-One-VLA-Engineering-Plattform für verkörperte KI – von Daten bis zur Bereitstellung auf echten Robotern.
Dingo: Ein umfassendes Tool zur Bewertung der Qualität von KI-Daten, -Modellen und -Anwendungen
[ECCV 2026] SparkVSR: Interaktive Video-Super-Resolution durch spärliche Keyframe-Propagierung
Dieses Repository enthält den Code für "VLM2Vec / MMEB" [ICLR 2025], "VLM2Vec-V2 / MMEB-V2" [TMLR 2026] und "MMEB-V3" [COLM 2026]
Mit eigener Intelligenz voran: Schreiben Sie Go-Anwendungen, die llama.cpp direkt integrieren, um unter Linux, macOS, Windows und WebAssembly lokale Inferenz mit Hardwarebeschleunigung durchzuführen.
[CVPR 2024 🔥] GeoChat, das erste geerdete große Sprachmodell für die Fernerkundung
KI-Agenten-Skillpaket für kommentierte Videos: automatische Szenenschnitte, Bildanalyse zum Verfassen des Sprechertexts, Sprachaufnahme und Audiomischung zur Erstellung des fertigen Videos; Export von Entwürfen für Jianying/CapCut, keine GPU erforderlich | Agenten-Skills für kommentierte Videozusammenfassungen und CapCut-Entwürfe
RAI ist ein vendor-agnostisches agentisches Framework für Physical-AI-Robotik, das ROS-2-Tools nutzt, um komplexe Aktionen, definierte Szenarien, freie Schnittstellen-Ausführung, Log-Zusammenfassungen, Sprachinteraktion und mehr durchzuführen.
Node Creative Coding / 3D / Bildverarbeitungstool, inspiriert von Quartz Composer
Skalierung in Spielen: Fortgesetztes Vortraining verkörperter Agenten in vielfältigen virtuellen Welten. Modellgewichte auf Hugging Face.
ComfyUI-Nodes für Vision-Language-Modelle: Qwen3-VL, Moondream 3, Florence-2, SmolVLM2, InternVL, Gemma 3, MiniCPM-V. Sowie Open-Vocabulary-Erkennung, SAM2/SAM3-Segmentierung, zeitliche Videobetrachtung, GGUF via llama.cpp und gehostete LLM/VLM-APIs.
Verwende das reMarkable2 als Schnittstelle zu vision-LLMs (ChatGPT, Claude, Gemini). Geist in der Maschine!
Flame ist ein Open-Source-multimodales KI-System, das entwickelt wurde, um UI-Design-Mockups in qualitativ hochwertigen React-Code zu übersetzen. Es nutzt Vision-Language-Modelling, automatisierte Datensynthese und strukturierte Trainings-Workflows, um die Lücke zwischen Design und Frontend-Entwicklung zu schließen.
Ein Zentrum für verschiedene branchenspezifische Schemata zur Verwendung mit VLMs.
Großartige multimodale Modellierung [Umfasst MLLM, UMM und NMM]
ScreenAgent: Ein durch visuelle Sprachgroßmodelle gesteuerter Computersteuerungsagent (IJCAI-24)
🌐 Vision-Language-Action-Modelle für autonomes Fahren: Vergangenheit, Gegenwart und Zukunft
[Awesome-Spatial-VLMs] Dieses Repository ist die offizielle, von der Community gepflegte Ressource für das Übersichts-Paper: Spatial Intelligence in Vision-Language Models: A Comprehensive Survey.
Eine kuratierte Liste hervorragender Papiere zu Embodied AI und verwandten Forschungs‑/Industrie‑Ressourcen.
🚀🚀🚀 Dieses Repository listet einige großartige öffentliche Projekte zu CUDA, cuda-python, cuBLAS, cuDNN, CUTLASS, TensorRT, TensorRT-LLM, Triton, TVM, MLIR, PTX und High Performance Computing (HPC) auf.