#multimodal-large-language-models Dépôts
Découvrez 43 dépôts GitHub open source actifs associés à #multimodal-large-language-models, cumulant 78,032 étoiles au total (soit une moyenne de 1,814 étoiles par projet). Le projet en tête de ce thème est BradyFU/Awesome-Multimodal-Large-Language-Models, avec 18,090 étoiles.
43 dépôts au total
:sparkles::sparkles:Dernières avancées sur les grands modèles de langage multimodaux
StarVector est un modèle fondamental pour la génération de SVG qui transforme la vectorisation en une tâche de génération de code. Utilisant une architecture de modélisation vision-langage, StarVector traite les entrées visuelles et textuelles pour produire du code SVG de haute qualité avec une précision remarquable.
LLaMA-Omni est un modèle d'interaction vocale de bout en bout à faible latence et de haute qualité, construit sur Llama-3.1-8B-Instruct, visant à atteindre des capacités vocales au niveau de GPT-4o.
Un framework multiplateforme de structuration vidéo (analyse vidéo) basé sur des modèles CV et mLLM.
✨✨[NeurIPS 2025] VITA-1.5 : Vers une interaction vision et parole en temps réel de niveau GPT-4o
mPLUG-DocOwl : Modèle linguistique multimodal modulaire pour la compréhension de documents
Cambrian-1 est une famille de LLM multimodaux avec une conception centrée sur la vision.
[ICML 2024] Maîtriser la diffusion texte-image : Recaptionnement, planification et génération avec des LLM multimodaux (RPG)
Seed1.5-VL, un modèle de fondation vision-langage conçu pour faire progresser la compréhension et le raisonnement multimodaux à usage général, atteignant des performances de pointe sur 38 des 60 points de référence publics.
[ICLR2026] Ceci est le premier article à explorer comment utiliser efficacement le RL de type R1 pour les MLLMs et présenter Vision‑R1, un MLLM de raisonnement qui exploite l'initialisation à démarrage froid et l'entraînement RL pour inciter la capacité de raisonnement.
Une branche pour ajouter l'entraînement de modèles multimodaux à open-r1
Une nouvelle architecture de modèle linguistique multimodal (MLLM) de grande taille, conçue pour aligner structurellement les représentations visuelles et textuelles.
Ce dépôt fournit des références précieuses pour les chercheurs dans le domaine de la multimodalité, commencez votre voyage d'exploration dans les MLLM de raisonnement basés sur RL !
Un humain numérique interactif vocal en temps réel, avec une apparence et une voix personnalisables, prenant en charge le clonage de voix, et un délai de dialogue aussi bas que 3 secondes.
Implémentation PyTorch d'Audio Flamingo : Série de modèles linguistiques avancés pour la compréhension audio
Notes de lecture sur les grands modèles de langage multimodaux, les grands modèles de langage et les modèles de diffusion
Un cadre pour le traitement de la parole, du langage, de l'audio et de la musique avec des grands modèles de langage
Raisonnement multimodal à chaînes de pensée : une enquête complète
Une collection de ressources sur les applications de l'apprentissage multimodal en imagerie médicale.
Une liste de papiers sur des travaux récents concernant la compression de jetons pour Vit et VLM
Série NEO : Modèles natifs de vision-langage basés sur les premiers principes
✨✨[CVPR 2025] Video-MME : Le tout premier benchmark d'évaluation complet des LLM multimodaux dans l'analyse vidéo
LLaVA-Plus : Grands assistants linguistiques et visuels qui se connectent et apprennent à utiliser des compétences
[CVPR 2024] MovieChat : Des tokens denses à la mémoire éparse pour la compréhension de longues vidéos
OmniVinci est un LLM omnimodal pour la compréhension conjointe de la vision, de l'audio et du langage.
Projet Personnel : MPP-Qwen14B & MPP-Qwen-Next (Pipeline Parallèle Multimodal basé sur Qwen-LM). Supporte [vidéo/image/multi-image] {sft/conversations}. Ne laissez pas la pauvreté limiter votre imagination ! Entraînez votre propre MLLM de type LLaVA-training 8B/14B sur RTX3090/4090 24 Go.
(Accepté par IJCV)Liquid : Les modèles linguistiques sont des générateurs multimodaux évolutifs et unifiés
✨✨Woodpecker : Correction des hallucinations pour les grands modèles linguistiques multimodaux
Une collection d'articles, de codes, d'ensembles de données, de benchmarks et de ressources sur le raisonnement multimodal.
NeurIPS 2024 Paper: Un LLM visuel unifié au niveau des pixels pour comprendre, générer, segmenter, éditer
LLaVA-Mini est un grand modèle multimodal (LMM) unifié qui peut prendre en charge la compréhension des images, des images haute résolution et des vidéos de manière efficace.
🔥🔥🔥 Une liste organisée d'articles sur la génération multimodale basée sur les LLM (image, vidéo, 3D et audio).
🌐 Modèles de vision, langage et action pour la conduite autonome : passé, présent et avenir
Code officiel de « EVF-SAM : Fusion précoce vision-langage pour le modèle Segment Anything guidé par texte »
Foire aux questions
Quel est le dépôt #multimodal-large-language-models le plus populaire sur GitHub ?
Le projet #multimodal-large-language-models open source le mieux classé sur GitHub est BradyFU/Awesome-Multimodal-Large-Language-Models, avec 18,090 étoiles. :sparkles::sparkles:Dernières avancées sur les grands modèles de langage multimodaux
Quels langages de programmation sont les plus utilisés dans les dépôts #multimodal-large-language-models ?
Parmi les projets #multimodal-large-language-models les mieux classés sur GitHub, les langages de programmation les plus courants sont Python, Jupyter Notebook, HTML, C++.
Comment le classement des dépôts #multimodal-large-language-models est-il calculé ?
Nous suivons 43 dépôts open source actifs associés à #multimodal-large-language-models (500+ étoiles), totalisant 78,032 étoiles, avec une moyenne de 1,814 étoiles par dépôt. Les classements sont mis à jour quotidiennement à partir de l’API GitHub.