#vlm Dépôts
89 dépôts au total
🚀 Bibliothèque d'entraînement natif distribué Pytorch pour LLMs/VLMs avec prise en charge immédiate de Hugging Face
Modèles ouverts de décision multimodale, de 0,8B à 27B, pour le texte, les images et la vidéo. Prenez des décisions en attribuant des probabilités à vos propres candidats et localisez avec des cadres de délimitation, plutôt que de générer du texte. API gratuite, ONNX, GGUF, vLLM et SGLang ; code de fine-tuning inclus.
Série NEO : Modèles natifs de vision-langage basés sur les premiers principes
MindSpore + 🤗Huggingface : Exécutez n'importe quel modèle Transformers/Diffusers sur MindSpore avec une compatibilité et une accélération transparentes.
【Nouveau mode agent intelligent】Assistant GPT pour Android dans tous les scénarios, activable via les touches de volume pour interaction vocale, prend en charge la connexion réseau, prise de photos, modèles, analyse de PDF et documents Office, et mode agent.
UniWorld: Codeurs sémantiques haute résolution pour la compréhension et la génération visuelles unifiées
Un framework haute performance pour entraîner des LLM, des VLM, des modèles de diffusion et des modèles incarnés sur des GPU NVIDIA et des XPU Kunlun. Prend en charge Pi0.5, GR00T-N1.7, FastWAM, Cosmos3, DreamZero, DeepSeek-V4, GLM-5.3, Kimi-K3 et bien d’autres.
[EMNLP 2026] MobileGym : une plateforme de simulation vérifiable et hautement parallèle pour la recherche sur les agents d'interface graphique mobile · Simulateur Android hébergé dans le navigateur · Évaluation vérifiable · Entraînement RL en ligne évolutif
Une série de modèles de 11B à poids ouverts pour la compréhension de vidéos longues et en temps réel
Une liste organisée d'articles sur la vision 3D relatifs au domaine de la robotique à l'ère des grands modèles, c'est-à-dire les LLM/VLM, inspirée par awesome-computer-vision, y compris des articles, des codes et des sites Web connexes
[CVPR 2026🔥] 🧑🎨 OmniLottie, un générateur d'animation vectorielle multimodale open‑source qui produit des fichiers JSON Lottie.
🚀🚀🚀Une collection de quelques projets publics impressionnants sur les grands modèles de langue (LLM), les modèles de vision et de langue (VLM), l'action vision-langage (VLA), le contenu généré par l'IA (AIGC), les ensembles de données et applications associés.
Une plateforme d'ingénierie VLA tout-en-un pour l'IA incarnée — des données au déploiement sur robots réels.
Dingo: Un outil complet d'évaluation de la qualité des données, modèles et applications d'IA
[ECCV 2026] SparkVSR : Super-résolution vidéo interactive par propagation de trames clés éparses
Ce dépôt contient le code pour "VLM2Vec / MMEB" [ICLR 2025], "VLM2Vec-V2 / MMEB-V2" [TMLR 2026] et "MMEB-V3" [COLM 2026]
Progressez avec votre propre intelligence : écrivez des applications Go qui intègrent directement llama.cpp pour effectuer des inférences locales avec accélération matérielle sous Linux, macOS, Windows et WebAssembly.
[CVPR 2024 🔥] GeoChat, le premier grand modèle linguistique visuel ancré pour la télédétection
Pack de compétences d’agent IA pour la narration vidéo : découpage automatique des plans, analyse des images pour rédiger le texte de narration, ajout de la voix off et mixage audio pour produire la vidéo finale ; exportation de brouillons pour Jianying/CapCut, sans GPU requis | Compétences d’agent pour résumés vidéo narrés et brouillons CapCut
🤗 Optimum Intel: Accélérez l'inférence avec les outils d'optimisation d'Intel
RAI est un cadre agentique indépendant des fournisseurs pour la robotique IA Physique, utilisant les outils ROS 2 pour effectuer des actions complexes, des scénarios définis, une exécution d'interface libre, des résumés de journaux, une interaction vocale et plus encore.
Outil Node Creative Coding / 3D / Traitement d'image inspiré de Quartz Composer
Passage à l’échelle dans les jeux : préentraînement continu d’agents incarnés dans des mondes virtuels variés. Poids disponibles sur Hugging Face.
Nœuds ComfyUI pour les modèles vision-langage : Qwen3-VL, Moondream 3, Florence-2, SmolVLM2, InternVL, Gemma 3, MiniCPM-V. Inclut également la détection à vocabulaire ouvert, la segmentation SAM2/SAM3, le raisonnement temporel vidéo, GGUF via llama.cpp, et des API LLM/VLM hébergées.
Utilisez le reMarkable2 comme interface pour les vision-LLMs (ChatGPT, Claude, Gemini). Fantôme dans la machine !
Flame est un système d'IA multimodal open-source conçu pour traduire des maquettes de conception d'interface utilisateur en code React de haute qualité. Il exploite la modélisation vision-langage, la synthèse de données automatisée et les flux de travail d'entraînement structurés pour combler le fossé entre la conception et le développement front-end.
Une plaque tournante pour divers schémas spécifiques à l'industrie à utiliser avec les VLM.
Modélisation multimodale impressionnante [Couvre MLLM, UMM et NMM]
ScreenAgent : Un agent de contrôle informatique piloté par un grand modèle linguistique visuel (IJCAI-24)
🌐 Modèles de vision, langage et action pour la conduite autonome : passé, présent et avenir
[Awesome-Spatial-VLMs] Ce dépôt est la ressource officielle, maintenue par la communauté, pour l'article de synthèse : Spatial Intelligence in Vision-Language Models: A Comprehensive Survey ;
Une liste curatée d'excellents articles sur l'IA incarnée et les ressources liées à la recherche et à l'industrie.
🚀🚀🚀 Ce dépôt répertorie quelques projets publics impressionnants liés à CUDA, cuda-python, cuBLAS, cuDNN, CUTLASS, TensorRT, TensorRT-LLM, Triton, TVM, MLIR, PTX et au calcul haute performance (HPC).