#multimodal Dépôts
183 dépôts au total
L'ensemble de données WIT (Wikipedia-based Image Text) est un grand ensemble de données multimodales et multilingues comprenant plus de 37 millions d'ensembles image-texte avec plus de 11 millions d'images uniques dans plus de 100 langues.
[ICLR'24 spotlight] Série de Grands Modèles Multimodaux Chinois et Anglais (Chat et Peinture) | Série de Grands Modèles Multimodaux Bilingues Chinois-Anglais Basée sur le Modèle de Base CPM
[Candidat au Meilleur Article ECCV 2024 et TPAMI 2025] PointLLM : Donner aux Grands Modèles Linguistiques les Moyens de Comprendre les Nuages de Points
Un modèle de représentation général à travers les modalités de vision, audio et langage. Article : ONE-PEACE : Exploration d'un modèle de représentation général vers des modalités illimitées
🩺 Le premier modèle médical multimodal chinois capable de résumer les radiographies thoraciques.
Plateforme de workflows d’IA générative de niveau entreprise, conçue pour les agents et les humains, et axée sur les modalités
Raisonnement multimodal à chaînes de pensée : une enquête complète
Une implémentation officielle pour "CLIP4Clip: Une étude empirique de CLIP pour la recherche de clips vidéo de bout en bout"
Ressources, exemples et tutoriels pour l'IA multimodale, RAG et agents utilisant la recherche vectorielle et les LLM
Modèles ouverts de décision multimodale, de 0,8B à 27B, pour le texte, les images et la vidéo. Prenez des décisions en attribuant des probabilités à vos propres candidats et localisez avec des cadres de délimitation, plutôt que de générer du texte. API gratuite, ONNX, GGUF, vLLM et SGLang ; code de fine-tuning inclus.
Série NEO : Modèles natifs de vision-langage basés sur les premiers principes
⚡ Solveur de CAPTCHA auto-hébergé compatible avec YesCaptcha, construit avec FastAPI, Playwright et des modèles multimodaux compatibles avec OpenAI.
À propos Ce dépôt est une collection organisée des articles les plus passionnants et influents de la CVPR 2025. 🔥 [Paper + Code + Demo]
Un modèle de langage multimodal unifié fondé sur la modélisation de séquences discrètes
Surveillance locale + vision IA — Cadre de surveillance IA alimenté par smartphone basé sur LAN avec sortie d'événements structurés pour l'acquisition et l'analyse de données.
Halo est un framework open source développé par White Circle pour entraîner des modèles de langage de grande taille et des modèles multimodaux
Une série de modèles de 11B à poids ouverts pour la compréhension de vidéos longues et en temps réel
Un moteur d'entraînement de modèles multimodaux simple et unifié. Léger, flexible et conçu pour l'expérimentation à grande échelle.
Un plugin local pour les conversations riches en images dans Codex, Claude Code et d’autres agents d’IA : les images précédentes sont remplacées par de courts espaces réservés au lieu d’être renvoyées avec chaque message, le modèle récupère l’original à l’aide de son identifiant (même après la compaction) et le cache des prompts continue de fonctionner.
[TMLR 2025🔥] Une enquête sur les modèles autorégressifs en vision.
bibliothèque prenant en charge la recherche NLP et CV sur les articles scientifiques
Liste d'articles sur les modèles multimodaux et les grands modèles de langage, utilisée uniquement pour enregistrer les articles lus dans l'arxiv quotidien pour des besoins personnels.
Paddle Multimodal Integration and eXploration, prenant en charge les tâches multimodales courantes, y compris les modèles de pré-entraînement multimodaux à grande échelle de bout en bout et la boîte à outils de modèles de diffusion. Équipé de hautes performances et d'une grande flexibilité.
Transformez des documents en Markdown prêt pour l'IA grâce à la compréhension visuelle
Un modèle open source pour comprendre la parole, les sons environnementaux et la musique grâce au sous-titrage, aux questions-réponses et au raisonnement
Une boîte à outils pour la recommandation multimodale. Intégrant plus de 10 modèles...
Ce dépôt contient le code pour "VLM2Vec / MMEB" [ICLR 2025], "VLM2Vec-V2 / MMEB-V2" [TMLR 2026] et "MMEB-V3" [COLM 2026]
[ECCV 2024] InstructIR : Restauration d'images de haute qualité suivant les instructions humaines https://huggingface.co/spaces/marcosv/InstructIR
Second Brain est un framework agentique qui agit comme un système d'exploitation, utilisant l'intelligence des fichiers locaux, l'automatisation des flux de travail et les LLMs pour accomplir des tâches et communiquer via plusieurs modalités et plateformes de messagerie.
Un Agent Skill universel pour créer des cartes holographiques, compatible avec toutes les plateformes et les modèles multimodaux. Générez à partir d’une seule phrase une page web de cartes 3D que vous pouvez faire glisser et pivoter, avec des effets lumineux fluides et une profondeur en couches. Projet Blender modifiable inclus.
Un moteur natif d’inférence de LLM .NET et un environnement d’exécution d’agents pour les modèles GGUF. TensorSharp fournit une application en ligne de commande, une interface de chatbot web, une application iPhone et des API HTTP compatibles avec Ollama/OpenAI pour un accès programmatique. Il prend en charge Windows, macOS, iOS et Linux avec une prise en charge complète du GPU.
AI Manus est un système d’agent d’IA à usage général qui permet d’exécuter divers outils et opérations dans un environnement sandbox.
Un moteur d'apprentissage par renforcement asynchrone pour le post-entraînement omnimodal à grande échelle
AI Manus est un système d’agent d’IA à usage général qui permet d’exécuter divers outils et opérations dans un environnement isolé.
AI Manus est un système d’agent IA généraliste qui permet d’exécuter divers outils et opérations dans un environnement sandbox.
✨✨Derniers Articles et Benchmarks en Raisonnement avec les Modèles Fondamentaux
AI Manus est un système d’agent d’IA à usage général qui prend en charge l’exécution de divers outils et opérations dans un environnement bac à sable.
AI Manus est un système d’agent d’IA à usage général qui permet d’exécuter divers outils et opérations dans un environnement isolé.
AI Manus est un système d’agent d’IA à usage général qui permet d’exécuter divers outils et opérations dans un environnement sandbox.
AI Manus est un système d’agent IA généraliste qui permet d’exécuter divers outils et opérations dans un environnement sandbox.
AI Manus est un système d’agent d’IA à usage général qui permet d’exécuter divers outils et opérations dans un environnement sandbox.
AI Manus est un système d’agent d’IA généraliste qui permet d’exécuter divers outils et opérations dans un environnement sandbox.
AI Manus est un système d’agent IA polyvalent qui permet d’exécuter divers outils et opérations dans un environnement sandbox.
AI Manus est un système d’agents d’IA à usage général qui permet d’exécuter divers outils et opérations dans un environnement sandbox.
AI Manus est un système d’agent IA à usage général qui permet d’exécuter divers outils et opérations dans un environnement sandbox.