#vlm 仓库
共 89 个仓库
开放式多模态决策模型,参数规模从 0.8B 到 27B,支持文本、图像和视频。对自选候选项进行概率判断,并用边界框定位,而非生成文本。提供免费 API、ONNX、GGUF、vLLM 和 SGLang;附带微调代码。
【新增智能体模式】安卓端全场景GPT助手,可用音量键唤起并进行语音交流,支持联网、拍照、模板、附件解析、智能体模式等 | GPT assistant for Android, activated via volume keys for voice interaction, supporting features such as networking, taking photos, templates, parsing PDF and Office documents, and agent mode.
一个用于在 NVIDIA GPU 和昆仑 XPU 上训练 LLM、VLM、扩散模型和具身模型的高性能框架。支持 Pi0.5、GR00T-N1.7、FastWAM、Cosmos3、DreamZero、DeepSeek-V4、GLM-5.3、Kimi-K3 等模型。
[EMNLP 2026] MobileGym:面向移动 GUI 智能体研究的可验证高并行仿真平台 · 浏览器中运行的安卓模拟器 · 可验证评估 · 可扩展在线强化学习训练
一个精选的3D视觉论文列表,涉及大模型时代,即LLMs/VLMs,在机器人领域,灵感来源于awesome-computer-vision,包括论文、代码和相关网站
🚀🚀🚀一个关于大型语言模型(LLM)、视觉语言模型(VLM)、视觉语言动作(VLA)、人工智能生成内容(AIGC)的优秀公共项目合集,以及相关的数据库和应用。
该仓库包含“VLM2Vec / MMEB”[ICLR 2025]、“VLM2Vec-V2 / MMEB-V2”[TMLR 2026]和“MMEB-V3”[COLM 2026]的代码。
用你自己的智能前行——编写 Go 应用,直接集成 llama.cpp,在 Linux、macOS、Windows 和 WebAssembly 上利用硬件加速进行本地推理。
AI 视频解说 Agent 技能包:自动切镜、看画面写解说词、配音混音合成成片,可导出剪映/CapCut 草稿,无需 GPU|适用于视频解说回顾与 CapCut 草稿的 Agent 技能
用于视觉语言模型的 ComfyUI 节点:Qwen3-VL、Moondream 3、Florence-2、SmolVLM2、InternVL、Gemma 3、MiniCPM-V。此外还支持开放词汇检测、SAM2/SAM3 分割、视频时序推理、通过 llama.cpp 实现的 GGUF,以及托管的 LLM/VLM API。
Flame 是一个开源的多模态 AI 系统,旨在将 UI 设计模型翻译成高质量的 React 代码。它利用视觉语言建模、自动化数据合成和结构化训练工作流程,以弥合设计与前端开发之间的差距。
[Awesome-Spatial-VLMs] 本仓库是综述论文《Spatial Intelligence in Vision-Language Models: A Comprehensive Survey》的官方社区维护资源。
🚀🚀🚀 本仓库列出了一些出色的开源 CUDA、cuda-python、cuBLAS、cuDNN、CUTLASS、TensorRT、TensorRT-LLM、Triton、TVM、MLIR、PTX 以及高性能计算 (HPC) 项目。