#multimodal-llm Dépôts
Découvrez 27 dépôts GitHub open source actifs associés à #multimodal-llm, cumulant 63,138 étoiles au total (soit une moyenne de 2,338 étoiles par projet). Le projet en tête de ce thème est anthropics/courses, avec 22,833 étoiles.
27 dépôts au total
Kimi-Audio, un modèle fondamental audio open-source excellent dans la compréhension, la génération et la conversation audio
Modèle de langage multimodal open-source de grande taille capable d'entendre, de parler tout en réfléchissant. Doté de capacités conversationnelles avec entrée vocale de bout en bout en temps réel et sortie audio en continu.
OCRFlux est une boîte à outils multimodale légère mais puissante qui fait progresser considérablement la conversion PDF vers Markdown, excellant dans la gestion des mises en page complexes, l'analyse des tableaux compliqués et la fusion de contenu inter-pages.
Modèles ASR open-source de qualité industrielle prenant en charge le mandarin, les dialectes chinois et l'anglais, atteignant un nouveau SOTA sur les benchmarks publics ASR en mandarin, tout en offrant une capacité exceptionnelle de reconnaissance des paroles chantées.
WeMM-Embedding est une famille de modèles d'intégration multimodaux universels développés par l'équipe WeChat Vision de Tencent, prenant en charge la compréhension et la recherche multimodales.
AgentCPM-GUI : Un agent GUI sur appareil pour l'exploitation des applications Android, améliorant la capacité de raisonnement grâce à un réglage fin par renforcement pour une exécution efficace des tâches.
Catalogue visuel soigneusement sélectionné de plus de 200 architectures de modèles de vision et de langage (VLM/MLLM) : articles, schémas, recettes d’entraînement, jeux de données et calendrier de publication des agents d’IA multimodaux.
VideoLLaMA 2 : Avancées dans la modélisation spatio-temporelle et la compréhension audio dans les Video-LLM
Un modèle généraliste transparent pour une compréhension holistique vision-langage médicale
Video-R1: Renforcer le Raisonnement Vidéo dans les MLLM [🔥le premier article à explorer R1 pour la vidéo]
Implémentation officielle du papier "MiniGPT-5: Interleaved Vision-and-Language Generation via Generative Vokens"
Un système ASR tout-en-un industriel de pointe avec des modules ASR, VAD, LID et Punc. FireRedASR2 prend en charge le chinois (mandarin, 20+ dialectes/accents), l'anglais, l'alternance codique, et l'ASR pour la parole et le chant. FireRedVAD prend en charge la parole/le chant/la musique dans 100+ langues. FireRedLID prend en charge 100+ langues et 20+ dialectes chinois. FireRedPunc prend en charge le chinois et l'anglais.
VideoLLM-online : Modèle linguistique étendu en ligne pour la vidéo en streaming (CVPR 2024)
Implémentation PyTorch de « V* : Guided Visual Search as a Core Mechanism in Multimodal LLMs »
Ajustement fin des grands modèles linguistiques, Qwen2VL, Qwen2, ajustement fin des instructions GLM4
Nous avons effectué un ajustement fin (fine-tuning) par concaténation de la tête visuelle de SmolVLM2 avec le modèle Qwen3-0.6B.
LaVIT : Permettre au grand modèle linguistique de comprendre et de générer du contenu visuel
Ce projet explore l'intégration de ChatGPT avec WhatsApp, transformant le chatbot en un assistant virtuel capable d'accomplir des tâches telles que parler avec des amis, répondre aux questions des clients, et bien plus encore, avec une touche d'humanisation dans les conversations.
[ICLR2026] VideoChat-Flash: Compression hiérarchique pour la modélisation vidéo à long terme du contexte
Foire aux questions
Quel est le dépôt #multimodal-llm le plus populaire sur GitHub ?
Le projet #multimodal-llm open source le mieux classé sur GitHub est anthropics/courses, avec 22,833 étoiles. Cours éducatifs d'Anthropic
Quels langages de programmation sont les plus utilisés dans les dépôts #multimodal-llm ?
Parmi les projets #multimodal-llm les mieux classés sur GitHub, les langages de programmation les plus courants sont Python, Jupyter Notebook, Markdown, TypeScript.
Comment le classement des dépôts #multimodal-llm est-il calculé ?
Nous suivons 27 dépôts open source actifs associés à #multimodal-llm (500+ étoiles), totalisant 63,138 étoiles, avec une moyenne de 2,338 étoiles par dépôt. Les classements sont mis à jour quotidiennement à partir de l’API GitHub.