#multimodal Repository
183 repository in totale
InternLM-XComposer2.5-OmniLive: Un sistema multimodale completo per interazioni audio e video in streaming a lungo termine
Il livello di contesto per dati non strutturati: dataset tipizzati e versionati su S3, GCS, Azure
Immagini per inferenza senza etichettatura (utilizzare modelli di base per addestrare modelli supervisionati).
Calcola facilmente gli embedding delle clip e costruisci un sistema di recupero delle clip con essi
Semplificare il processo di fine-tuning per modelli multimodali: PaliGemma 2, Florence-2 e Qwen2.5-VL
Risorse complete sull'IA generativa, tra cui una roadmap dettagliata, progetti, casi d'uso, preparazione ai colloqui e preparazione alla codifica.
[EMNLP-2024] Costruire agenti linguistici multimodali per prototipazione rapida e produzione
Repository ufficiale di OFA (ICML 2022). Paper: OFA: Unifying Architectures, Tasks, and Modalities Through a Simple Sequence-to-Sequence Learning Framework
mPLUG-Owl: La potente famiglia di modelli linguistici di grandi dimensioni multimodali
HuixiangDou: Superare scenari di chat di gruppo con assistenza tecnica basata su LLM
Una raccolta curata di articoli, benchmark, rassegne e strumenti sulla quantizzazione dei modelli, che comprende reti a pochi bit, LLM, modelli multimodali e generativi, quantizzazione vettoriale e reticolare, nonchรฉ il deployment efficiente.
(เท`๊ณยดเท) Una panoramica sulla generazione/sintesi da testo a immagine.
SDK per l'interazione con le API di stability.ai (ad es. inferenza Stable Diffusion)
Roubao 2.0 per iPhone: un agente IA open source per iOS con controllo dellโinterfaccia Micro-X autorizzato dal proprietario, modelli personalizzati, attivitร riprendibili e report PDF. Durante lโuso non servono Wi-Fi, jailbreak, computer nรฉ hardware aggiuntivo (per la configurazione occorrono un Mac e una connessione USB). La versione legacy per Android รจ mantenuta.
[ECCV2024] Modelli Fondamentali Video e Dati per la Comprensione Multimodale
๐จ NeMo Data Designer: Genera dati sintetici di alta qualitร da zero o da dati seed.
mPLUG-DocOwl: Modello linguistico multimodale modulare di grandi dimensioni per la comprensione dei documenti
Lascia che Claude (o qualsiasi LLM) guardi effettivamente un video โ fotogrammi con rilevamento delle scene e deduplicati + trascrizione, da un URL o file locale. Funziona localmente, MIT.
GenAI Processors รจ una libreria Python leggera che consente un'elaborazione dei contenuti efficiente e parallela.
IA multimodale in tempo reale su dispositivo con funzionalitร simili a GPT-Live
[ICLR & NeurIPS 2025] Repository per la serie Show-o, un unico Transformer per unificare la comprensione e la generazione multimodale.
Un'implementazione open-source per l'affinamento della serie Qwen-VL di Alibaba Cloud.
Implementazione di "BitNet: Scalare Transformer a 1 bit per modelli linguistici di grandi dimensioni" in PyTorch
Runtime ad alte prestazioni per lโerogazione di sistemi di superintelligenza interattivi
Una raccolta di idee e algoritmi originali e innovativi per macchine letterarie avanzate. Questo progetto รจ mantenuto dal Team OCR nel Language Technology Lab, Tongyi Lab, Alibaba Group.
Sintetizzazione di programmi grafici per figure scientifiche e schizzi con TikZ.
WeMM-Embedding รจ una famiglia di modelli universali di incorporamento multimodale del WeChat Vision Team di Tencent, che supporta la comprensione e il recupero multimodale.
Gli agenti backend sono costruiti con: database multimodale, orchestrazione e servizio in un unico file
Una nuova architettura Multimodal Large Language Model (MLLM), progettata per allineare strutturalmente gli embedding visivi e testuali.
Ottieni dati puliti da documenti complessi, potenziati dai modelli vision-language โก
Concedi a Claude la capacitร di guardare e comprendere i video โ plugin Claude Code con estrazione dei fotogrammi e analisi audio multimodale
Xtreme1 รจ una piattaforma all-in-one per l'etichettatura e l'annotazione dei dati per l'addestramento di dati multimodali e supporta nuvole di punti 3D LiDAR, immagini e LLM.
Questo repository รจ l'implementazione ufficiale di Disentangling Writer and Character Styles for Handwriting Generation (CVPR 2023)
Catalogo visivo selezionato di oltre 200 architetture di modelli visione-linguaggio (VLM/MLLM): articoli, diagrammi, ricette di addestramento, set di dati e cronologia dei rilasci degli agenti IA multimodali.
Motore di inferenza offline per arte, conversazioni vocali in tempo reale, chatbot basati su LLM e flussi di lavoro automatizzati
Visione per gli agenti DeepSeek Harness che operano solo con testo: catena di visione gratuita integrata (senza chiave) + strumenti di visione a livello di pixel (domande e risposte, grounding, ritaglio, differenza tra pixel, colori, OCR, ricalco SVG, scontorno, screenshot). Installazione con un solo comando, senza Python; i turni con immagini funzionano come i normali turni di chiamata agli strumenti.
Progetta un kit di strumenti e competenze visive migliore per i modelli di solo testo per "vedere" le immagini, supportando la comprensione multi-immagine, domande e risposte sulle immagini, ripristino dell'interfaccia frontend, automazione della GUI, ecc., con integrazione opzionale senza soluzione di continuitร con piรน agenti principali e riconoscimento diretto delle immagini incollate | Un kit di strumenti e competenze visive progettato per LLM di solo testo: domande e risposte sulle immagini, OCR di screenshot lunghi, ripristino dell'interfaccia frontend e automazione della GUI, con integrazione opzionale senza soluzione di continuitร per Codex, Claude Code, Pi, Oh My Pi e OpenCode
Addestramento e inferenza distribuiti per la percezione multimodale: embedding condivisi per testo, immagini, video, audio, codice e grafi, da 64 a 1024 dimensioni ๐ผ๏ธ
Server MCP Multi-AI - Collega ChatGPT, Claude, Gemini e Perplexity ai tuoi strumenti di codifica senza alcuna API