#multimodal-ai Dépôts
191 dépôts au total
VeOmni : Mise à l'échelle de la formation de modèles de toute modalité avec une bibliothèque distribuée de recettes centrée sur le modèle
Awesome-LLM-3D : une liste organisée de modèles linguistiques multimodaux de grande taille dans le monde 3D Ressources
Dépôt officiel de 'Visual-RFT: Visual Reinforcement Fine-Tuning' & 'Visual-ARFT: Visual Agentic Reinforcement Fine-Tuning’
Assistant Langage-et-Vision à grande échelle pour la biomédecine, construit vers des capacités multimodales de niveau GPT-4.
【LLMs Tour du Démon à Neuf Couches】Partage d'expériences pratiques et de connaissances sur les LLMs dans des domaines tels que le traitement du langage naturel (ChatGLM, Chinese-LLaMA-Alpaca, Xiaoyangtuo Vicuna, LLaMA, GPT4ALL, etc.), la récupération d'informations (langchain), la synthèse vocale, la reconnaissance vocale, le multimodal (Stable Diffusion, MiniGPT-4, VisualGLM-6B, Ziya-Visual, etc.).
Extrayez des données structurées et des insights de documents à l’aide de grands modèles de langage et de modèles de décision
Le dépôt officiel du chat Qwen2-Audio et du grand modèle linguistique audio pré-entraîné proposé par Alibaba Cloud.
Recettes pour réduire, optimiser et personnaliser des modèles de vision de pointe. 💜
Le plan d'IA NVIDIA pour la recherche et le résumé vidéo (VSS) est une architecture de référence accélérée par GPU pour construire des agents d'analyse vidéo avec des alertes vérifiées en temps réel, des questions-réponses visuelles et des rapports automatisés. Le plan VSS utilise des modèles de langage visuel (VLM) tels que NVIDIA Cosmos, des LLM tels que NVIDIA Nemotron, RAG et NVIDIA NIM.
Recherche sémantique. Recherchez des photos et vidéos locales grâce au langage naturel. Recherche sémantique par IA de matériel local. Recherche par image, trouver des matériaux locaux, faire correspondre des scènes par des descriptions textuelles, recherche d'images vidéo, recherche de vidéos par descriptions de scènes.
EVA OS — Un système d'exploitation IA (AIOS) multimodal en temps réel pour le matériel de nouvelle génération, permettant à vos appareils d'être « vivants » et aussi intelligents qu'un véritable cerveau.
OpenGUI est un framework d'agent GUI Android pour l'IA sur téléphone, capable de voir, de planifier et d'utiliser de véritables applications mobiles via l'interface graphique.
TorchMultimodal est une bibliothèque PyTorch pour l'entraînement de modèles multimodaux multi-tâches à la pointe de la technologie à grande échelle.
Serveur d'inférence LLM haute performance compatible OpenAI et Anthropic pour Apple Silicon. MLX natif, traitement par lots continu, modèles multimodaux, appels d'outils MCP et prise en charge de Claude Code.
Ragflow-Plus est une version de développement secondaire de Ragflow, la rendant plus concise et pratique
Collectez quelques papiers sur les transformeurs pour la détection et la segmentation. Awesome Detection Transformer pour la vision par ordinateur (CV)
Catalogue visuel soigneusement sélectionné de plus de 200 architectures de modèles de vision et de langage (VLM/MLLM) : articles, schémas, recettes d’entraînement, jeux de données et calendrier de publication des agents d’IA multimodaux.
📰 Articles et blogs incontournables sur le décodage spéculatif ⚡️
Votre agent Android autonome ouvert — un assistant IA prêt pour la production, auto-planifiant, alimenté par des LLM locaux/distance et une automatisation d'écran axée sur l'accessibilité.
[ICML'26 & COLM'26] Série Agent0 : Agents auto-évolutifs à partir de zéro donnée
OpenTSLM : Modèles de langage de séries temporelles pour le raisonnement sur des données multivariées de texte médical et de séries temporelles
Le dépôt GitHub officiel pour l'article de synthèse « A Survey on Diffusion Language Models ».