#multimodal-llm Repositories
Entdecke 27 aktive Open-Source-GitHub-Repositories, die mit #multimodal-llm getaggt sind und insgesamt 63,138 Sterne gesammelt haben (durchschnittlich 2,338 Sterne pro Projekt). Spitzenreiter in diesem Themenbereich ist anthropics/courses mit 22,833 Sternen.
Insgesamt 27 Repositories
Kimi-Audio, ein Open-Source-Audiofundierungsmodell, das sich in Audioverständnis, -generierung und -gesprächen auszeichnet
Open-Source multimodales großes Sprachmodell, das hören, sprechen und denken kann. Mit Echtzeit-Ende-zu-Ende-Spracheingabe und Streaming-Audio-Ausgabe-Konversationsfähigkeiten.
OCRFlux ist ein leichtgewichtiger, aber leistungsstarker multimodaler Toolkit, der die PDF-zu-Markdown-Konvertierung erheblich vorantreibt und sich durch die Verarbeitung komplexer Layouts, die Analyse komplizierter Tabellen und die inhaltsübergreifende Zusammenführung von Seiten auszeichnet.
Open-Source-ASR-Modelle in Industriequalität, die Mandarin, chinesische Dialekte und Englisch unterstützen, neue SOTA-Ergebnisse auf öffentlichen Mandarin-ASR-Benchmarks erzielen und auch eine herausragende Fähigkeit zur Erkennung von Gesangstexten bieten.
WeMM-Embedding ist eine Familie universeller multimodaler Embedding-Modelle des WeChat Vision Teams bei Tencent, die multimodales Verstehen und Retrieval unterstützt.
AgentCPM-GUI: Ein On-Device GUI-Agent für den Betrieb von Android-Apps, der die Schlussfolgerungsfähigkeit durch verstärkende Feinabstimmung für eine effiziente Aufgabenausführung verbessert.
Kuratierter visueller Katalog mit über 200 Architekturen von Vision-Language-Modellen (VLM/MLLM): Fachartikel, Diagramme, Trainingsrezepte, Datensätze und ein Veröffentlichungszeitplan für multimodale KI-Agenten.
TinyGPT-V: Effizientes multimodales großes Sprachmodell über kleine Rückgrate
VideoLLaMA 2: Fortschritte im räumlich-zeitlichen Modellieren und Verstehen von Audio in Video-LLMs
Ein transparentes Generalistenmodell für ein ganzheitliches medizinisches Bild-Sprach-Verständnis
Video-R1: Verstärkung der Videobegründung in MLLMs [🔥das erste Paper, das R1 für Videos erforscht]
Offizielle Implementierung des Papers „MiniGPT-5: Interleaved Vision-and-Language Generation via Generative Vokens“
Ein SOTA-Industrie-All-in-One-ASR-System mit ASR-, VAD-, LID- und Punc-Modulen. FireRedASR2 unterstützt Chinesisch (Mandarin, 20+ Dialekte/Akzente), Englisch, Code-Switching sowie Sprach- und Gesangs-ASR. FireRedVAD unterstützt Sprache/Gesang/Musik in 100+ Sprachen. FireRedLID unterstützt 100+ Sprachen und 20+ chinesische Dialekte. FireRedPunc unterstützt Chinesisch und Englisch.
VideoLLM-online: Online Large Language Model für Streaming-Videos (CVPR 2024)
PyTorch-Implementierung von „V* : Guided Visual Search as a Core Mechanism in Multimodal LLMs“
Feinabstimmung großer Sprachmodelle, Qwen2VL, Qwen2, GLM4-Instruktions-Feinabstimmung
Das visuelle Modul von SmolVLM2 wurde mit dem Qwen3-0.6B-Modell zusammengeführt und mittels Concatenated Fine-Tuning trainiert.
LaVIT: Befähigung großer Sprachmodelle zum Verstehen und Generieren von visuellen Inhalten
Dieses Projekt untersucht die Integration von ChatGPT mit WhatsApp und verwandelt den Chatbot in einen virtuellen Assistenten, der Aufgaben wie die Kommunikation mit Freunden, die Beantwortung von Kundenfragen und vieles mehr mit einer menschlichen Note in Gesprächen erledigen kann.
[ICLR2026] VideoChat-Flash: Hierarchische Kompression für die Langkontext-Video-Modellierung
Häufig gestellte Fragen
Welches ist das beliebteste #multimodal-llm-Repository auf GitHub?
Das am höchsten eingestufte Open-Source-#multimodal-llm-Projekt auf GitHub ist anthropics/courses mit 22,833 Sternen. Anthropic's Bildungskurse
Welche Programmiersprachen werden in #multimodal-llm-Repositories am häufigsten verwendet?
Unter den am höchsten eingestuften #multimodal-llm-Projekten auf GitHub sind Python, Jupyter Notebook, Markdown, TypeScript die am häufigsten verwendeten Programmiersprachen.
Wie wird das Ranking der #multimodal-llm-Repositories berechnet?
Wir verfolgen 27 aktive Open-Source-Repositories, die mit #multimodal-llm getaggt sind (500+ Sterne), mit insgesamt 63,138 Sternen und durchschnittlich 2,338 Sternen pro Repository. Die Rankings werden täglich über die GitHub-API aktualisiert.