#multimodal Dépôts
183 dépôts au total
InternLM-XComposer2.5-OmniLive : Un système multimodal complet pour les interactions audio et vidéo en streaming à long terme
La couche de contexte pour les données non structurées : jeux de données typés et versionnés sur S3, GCS, Azure
Images pour l'inférence sans étiquetage (utilisez des modèles fondamentaux pour entraîner des modèles supervisés).
Calculez facilement les plongements de clips et créez un système de récupération de clips avec eux
Rationaliser le processus de réglage fin pour les modèles multimodaux : PaliGemma 2, Florence-2 et Qwen2.5-VL
Ressources complètes sur l'IA générative, y compris une feuille de route détaillée, des projets, des cas d'utilisation, la préparation aux entretiens et la préparation au codage.
[EMNLP-2024] Construire des agents de langage multimodaux pour un prototypage et une production rapides
Dépôt officiel d'OFA (ICML 2022). Paper : OFA: Unifying Architectures, Tasks, and Modalities Through a Simple Sequence-to-Sequence Learning Framework
HuixiangDou : Surmonter les scénarios de discussion de groupe avec une assistance technique basée sur les LLM
Une collection organisée d’articles, de benchmarks, de travaux de synthèse et d’outils sur la quantification des modèles, couvrant les réseaux à faible nombre de bits, les LLM, les modèles multimodaux et génératifs, la quantification vectorielle et par réseau, ainsi que le déploiement efficace.
(ෆ`꒳´ෆ) Une étude sur la génération/synthèse de texte en image.
SDK pour interagir avec les API d'stability.ai (par exemple, l'inférence Stable Diffusion)
Roubao 2.0 pour iPhone : un agent IA open source pour iOS avec contrôle de l’interface Micro-X autorisé par le propriétaire, modèles personnalisés, tâches reprenables et rapports PDF. Aucun Wi-Fi, jailbreak, ordinateur ou matériel supplémentaire n’est nécessaire à l’exécution (un Mac et une connexion USB sont requis pour la configuration). L’ancienne version Android est conservée.
[ECCV2024] Modèles Fondamentaux Vidéo & Données pour la Compréhension Multimodale
🎨 NeMo Data Designer : Générez des données synthétiques de haute qualité à partir de zéro ou à partir de données semences.
mPLUG-DocOwl : Modèle linguistique multimodal modulaire pour la compréhension de documents
Laissez Claude (ou tout LLM) regarder une vidéo — images dédupliquées et conscientes des scènes + transcription, à partir d'une URL ou d'un fichier local. Fonctionne localement, MIT.
GenAI Processors est une bibliothèque Python légère qui permet un traitement de contenu efficace et parallèle.
IA multimodale en temps réel sur appareil avec des fonctionnalités similaires à GPT-Live
[ICLR & NeurIPS 2025] Dépôt pour la série Show-o, un seul Transformer pour unifier la compréhension et la génération multimodales.
Une implémentation open-source pour le réglage fin de la série Qwen-VL d'Alibaba Cloud.
Implémentation de "BitNet : Mise à l'échelle des transformeurs 1 bits pour les grands modèles de langage" en PyTorch
Environnement d’exécution hautes performances pour le service de systèmes de superintelligence interactifs
Une collection d'idées et d'algorithmes originaux et innovants pour des machines littéraires avancées. Ce projet est maintenu par l'équipe OCR du Language Technology Lab, Tongyi Lab, Alibaba Group.
Synthèse de programmes graphiques pour figures scientifiques et croquis avec TikZ.
WeMM-Embedding est une famille de modèles d'intégration multimodaux universels développés par l'équipe WeChat Vision de Tencent, prenant en charge la compréhension et la recherche multimodales.
Le système d'auto-codage pour votre application — Alan AI SDK pour Flutter
Les agents backend sont construits avec : une base de données multimodale, une orchestration et un service dans un seul fichier
Le système de codage automatique pour votre application — Alan AI SDK pour Ionic
Une nouvelle architecture de modèle linguistique multimodal (MLLM) de grande taille, conçue pour aligner structurellement les représentations visuelles et textuelles.
Obtenez des données propres à partir de documents complexes, alimentés par des modèles de vision-langage ⚡
Donnez à Claude la capacité de regarder et de comprendre les vidéos — plugin Claude Code avec extraction d’images et analyse audio multimodale
Xtreme1 est une plateforme tout-en-un d'étiquetage et d'annotation de données pour la formation de données multimodales et prend en charge les nuages de points 3D LiDAR, les images et les LLM.
Ce dépôt est l'implémentation officielle de Disentangling Writer and Character Styles for Handwriting Generation (CVPR 2023)
Catalogue visuel soigneusement sélectionné de plus de 200 architectures de modèles de vision et de langage (VLM/MLLM) : articles, schémas, recettes d’entraînement, jeux de données et calendrier de publication des agents d’IA multimodaux.
Moteur d'inférence hors ligne pour l'art, les conversations vocales en temps réel, les chatbots alimentés par LLM et les flux de travail automatisés
La vision pour les agents DeepSeek Harness limités au texte : chaîne de vision gratuite intégrée (sans clé) + outils de vision au niveau du pixel (questions-réponses, ancrage, recadrage, différence de pixels, couleurs, OCR, traçage SVG, détourage, captures d’écran). Installation en une seule commande, sans Python ; les tours avec images fonctionnent comme des tours ordinaires d’appel d’outils.
Concevez une meilleure boîte à outils et des compétences visuelles pour que les modèles de texte uniquement « voient » des images, prenant en charge la compréhension multi-images, les questions-réponses sur images, la restauration d'interface front-end, l'automatisation de l'interface graphique, etc., avec une intégration transparente facultative avec plusieurs agents principaux, et la reconnaissance directe des images collées | Une boîte à outils et des compétences visuelles conçues pour les LLM de texte uniquement : questions-réponses sur images, OCR de captures d'écran longues, restauration d'interface front-end et automatisation de l'interface graphique, avec intégration transparente facultative pour Codex, Claude Code, Pi, Oh My Pi et OpenCode
Entraînement et inférence distribués pour la perception multimodale : représentations vectorielles partagées pour le texte, les images, la vidéo, l’audio, le code et les graphes, de 64 à 1 024 dimensions 🖼️
Serveur MCP Multi-IA - Connectez ChatGPT, Claude, Gemini et Perplexity à vos outils de codage sans aucune API
Un modèle de fondation qui génère des vidéos et de l’audio synchronisés au sein d’un seul modèle