#multimodal-llm Repository
Scopri 27 repository GitHub open source attivi contrassegnati con #multimodal-llm, che raccolgono un totale di 63,138 stelle (con una media di 2,338 stelle per progetto). Il progetto leader di questo argomento è anthropics/courses, con 22,833 stelle.
27 repository in totale
Kimi-Audio, un modello di fondazione audio open-source eccellente nella comprensione, generazione e conversazione audio
Modello linguistico di grandi dimensioni multimodale open-source in grado di ascoltare, parlare e pensare. Dotato di funzionalità conversazionali con input vocale end-to-end in tempo reale e output audio in streaming.
OCRFlux è un toolkit multimodale leggero ma potente che migliora significativamente la conversione da PDF a Markdown, eccellendo nella gestione di layout complessi, nell'analisi di tabelle complicate e nell'unione di contenuti interpagina.
Modelli ASR open-source di livello industriale che supportano mandarino, dialetti cinesi e inglese, raggiungendo un nuovo SOTA sui benchmark pubblici ASR in mandarino, offrendo al contempo eccezionali capacità di riconoscimento del testo delle canzoni.
WeMM-Embedding è una famiglia di modelli universali di incorporamento multimodale del WeChat Vision Team di Tencent, che supporta la comprensione e il recupero multimodale.
AgentCPM-GUI: Un agente GUI on-device per l'utilizzo delle app Android, che migliora la capacità di ragionamento con il fine-tuning di rinforzo per un'efficiente esecuzione dei compiti.
Catalogo visivo selezionato di oltre 200 architetture di modelli visione-linguaggio (VLM/MLLM): articoli, diagrammi, ricette di addestramento, set di dati e cronologia dei rilasci degli agenti IA multimodali.
TinyGPT-V: Modello linguistico grande multimodale efficiente tramite piccole backbone
VideoLLaMA 2: Avanzamenti nella modellazione spazio-temporale e nella comprensione audio nei Video-LLM
Un modello generalista trasparente verso una comprensione olistica visione-linguaggio in ambito medico
Video-R1: Rafforzare il Ragionamento Video negli MLLM [🔥il primo paper a esplorare R1 per i video]
Implementazione ufficiale del paper "MiniGPT-5: Interleaved Vision-and-Language Generation via Generative Vokens"
Un sistema ASR All-in-One di livello industriale SOTA con moduli ASR, VAD, LID e Punc. FireRedASR2 supporta cinese (mandarino, 20+ dialetti/accenti), inglese, code-switching e ASR sia per la voce che per il canto. FireRedVAD supporta voce/canto/musica in 100+ lingue. FireRedLID supporta 100+ lingue e 20+ dialetti cinesi. FireRedPunc supporta cinese e inglese.
VideoLLM-online: Large Language Model online per video in streaming (CVPR 2024)
Implementazione PyTorch di "V* : Guided Visual Search as a Core Mechanism in Multimodal LLMs"
Fine-tuning di modelli linguistici di grandi dimensioni, Qwen2VL, Qwen2, fine-tuning di istruzioni GLM4
È stato eseguito il fine-tuning concatenato della testa visiva di SmolVLM2 con il modello Qwen3-0.6B.
LaVIT: Potenziare il Large Language Model per Comprendere e Generare Contenuti Visivi
Questo progetto esplora l'integrazione di ChatGPT con WhatsApp, trasformando il chatbot in un assistente virtuale in grado di svolgere attività come parlare con gli amici, rispondere alle domande dei clienti e molto altro ancora, con un tocco di umanizzazione nelle conversazioni.
[ICLR2026] VideoChat-Flash: Compressione gerarchica per la modellazione video a lungo contesto
Domande frequenti
Qual è il repository #multimodal-llm più popolare su GitHub?
Il progetto open source #multimodal-llm più alto in classifica su GitHub è anthropics/courses, con 22,833 stelle. Corsi didattici di Anthropic
Quali linguaggi di programmazione sono più utilizzati nei repository #multimodal-llm?
Tra i progetti #multimodal-llm più alti in classifica su GitHub, i linguaggi di programmazione più comuni sono Python, Jupyter Notebook, Markdown, TypeScript.
Come viene calcolata la classifica dei repository #multimodal-llm?
Monitoriamo 27 repository open source attivi contrassegnati con #multimodal-llm (500+ stelle), per un totale di 63,138 stelle e una media di 2,338 stelle per repository. Le classifiche vengono aggiornate quotidianamente tramite l’API di GitHub.