#multimodal-large-language-models Repository
Scopri 43 repository GitHub open source attivi contrassegnati con #multimodal-large-language-models, che raccolgono un totale di 78,032 stelle (con una media di 1,814 stelle per progetto). Il progetto leader di questo argomento è BradyFU/Awesome-Multimodal-Large-Language-Models, con 18,090 stelle.
43 repository in totale
:sparkles::sparkles:Ultime novità sui modelli linguistici di grandi dimensioni multimodali
StarVector è un modello di base per la generazione di SVG che trasforma la vettorizzazione in un'attività di generazione di codice. Utilizzando un'architettura di modellazione visione-linguaggio, StarVector elabora input visivi e testuali per produrre codice SVG di alta qualità con notevole precisione.
LLaMA-Omni è un modello di interazione vocale end-to-end a bassa latenza e alta qualità basato su Llama-3.1-8B-Instruct, che mira a raggiungere capacità vocali al livello di GPT-4o.
Un framework multipiattaforma per la strutturazione video (analisi video) basato su modelli CV e mLLM.
✨✨[NeurIPS 2025] VITA-1.5: Verso l'interazione visione e parlato in tempo reale di livello GPT-4o
mPLUG-DocOwl: Modello linguistico multimodale modulare di grandi dimensioni per la comprensione dei documenti
Cambrian-1 è una famiglia di LLM multimodali con un design incentrato sulla visione.
[ICML 2024] Padroneggiare la diffusione da testo a immagine: Ricaptioning, pianificazione e generazione con LLM multimodali (RPG)
Seed1.5-VL, un modello fondazionale vision-language progettato per migliorare la comprensione e il ragionamento multimodale di uso generale, ottenendo prestazioni all'avanguardia su 38 dei 60 benchmark pubblici.
[ICLR2026] Questo è il primo articolo a esplorare come utilizzare efficacemente il RL simile a R1 per MLLMs e introdurre Vision‑R1, un MLLM di ragionamento che sfrutta l'inizializzazione a partenza fredda e l'addestramento RL per incentivare la capacità di ragionamento.
Un fork per aggiungere l'addestramento di modelli multimodali a open-r1
Una nuova architettura Multimodal Large Language Model (MLLM), progettata per allineare strutturalmente gli embedding visivi e testuali.
Questo repository fornisce preziosi riferimenti per i ricercatori nel campo della multimodalità, inizia il tuo viaggio esplorativo nei MLLM di ragionamento basati su RL!
Umano digitale interattivo vocale in tempo reale, con aspetto e voce personalizzabili, che supporta la clonazione vocale e presenta una latenza di dialogo di soli 3 secondi.
Implementazione PyTorch di Audio Flamingo: Serie di modelli linguistici avanzati per la comprensione dell'audio
Note di lettura su modelli linguistici di grandi dimensioni multimodali, modelli linguistici di grandi dimensioni e modelli di diffusione
Un Framework per l'Elaborazione di Voce, Lingua, Audio e Musica con Modelli Linguistici di Grandi Dimensioni
Una raccolta di risorse sulle applicazioni dell'apprendimento multimodale nell'imaging medico.
Un elenco di alcuni lavori recenti sulla compressione dei token per Vit e VLM
✨✨[CVPR 2025] Video-MME: Il primo benchmark di valutazione completo in assoluto di LLM multimodali nell'analisi video
LLaVA-Plus: Grandi assistenti linguistici e visivi che si collegano e imparano a usare le abilità
Repository ufficiale e implementazione della valutazione di VSI-Bench
[CVPR 2024] MovieChat: Da token densi a memoria sparsa per la comprensione di video lunghi
OmniVinci è un LLM omnimodale per la comprensione congiunta di visione, audio e linguaggio.
Progetto Personale: MPP-Qwen14B & MPP-Qwen-Next (Multimodal Pipeline Parallelism basato su Qwen-LM). Supporta [video/image/multi-image] {sft/conversations}. Non lasciare che la povertà limiti la tua immaginazione! Addestra il tuo MLLM in stile LLaVA-training da 8B/14B su RTX3090/4090 24GB.
(Accettato da IJCV)Liquid: I modelli linguistici sono generatori multimodali scalabili e unificati
✨✨Woodpecker: Correzione delle allucinazioni per modelli linguistici di grandi dimensioni multimodali
Una raccolta di articoli, codici, set di dati, benchmark e risorse sul ragionamento multimodale.
NeurIPS 2024 Paper: Un LLM visivo unificato a livello di pixel per comprendere, generare, segmentare, modificare
LLaVA-Mini è un modello multimodale ampio e unificato (LMM) che può supportare la comprensione di immagini, immagini ad alta risoluzione e video in modo efficiente.
🔥🔥🔥 Un elenco curato di articoli sulla generazione multimodale basata su LLM (image, video, 3D e audio).
🌐 Modelli di visione, linguaggio e azione per la guida autonoma: passato, presente e futuro
Codice ufficiale di «EVF-SAM: Fusione precoce visione-lingua per il modello Segment Anything con prompt testuale»
Domande frequenti
Qual è il repository #multimodal-large-language-models più popolare su GitHub?
Il progetto open source #multimodal-large-language-models più alto in classifica su GitHub è BradyFU/Awesome-Multimodal-Large-Language-Models, con 18,090 stelle. :sparkles::sparkles:Ultime novità sui modelli linguistici di grandi dimensioni multimodali
Quali linguaggi di programmazione sono più utilizzati nei repository #multimodal-large-language-models?
Tra i progetti #multimodal-large-language-models più alti in classifica su GitHub, i linguaggi di programmazione più comuni sono Python, Jupyter Notebook, HTML, C++.
Come viene calcolata la classifica dei repository #multimodal-large-language-models?
Monitoriamo 43 repository open source attivi contrassegnati con #multimodal-large-language-models (500+ stelle), per un totale di 78,032 stelle e una media di 1,814 stelle per repository. Le classifiche vengono aggiornate quotidianamente tramite l’API di GitHub.