#multimodal 仓库
共 183 个仓库
OFA (ICML 2022) 的官方仓库。论文:OFA: Unifying Architectures, Tasks, and Modalities Through a Simple Sequence-to-Sequence Learning Framework
精选的模型量化论文、基准测试、综述和工具集合,涵盖低比特网络、大语言模型、多模态与生成模型、矢量量化和格量化,以及高效部署。
iPhone 版肉包 Roubao 2.0:开源 iOS AI 智能体,支持经所有者授权的 Micro-X UI 控制、自定义模型、可恢复任务和 PDF 报告。运行时无需 Wi-Fi、越狱、电脑或额外硬件(设置时需要 Mac + USB)。保留旧版 Android。
让Claude(或任何大语言模型)真正观看视频——场景感知、去重帧+转录文本,支持URL或本地文件。本地运行,MIT许可证。
精心整理的 200 多种视觉语言模型(VLM/MLLM)架构可视化目录:涵盖论文、示意图、训练方案、数据集,以及多模态 AI 智能体的发布时间线。
为纯文本 DeepSeek Harness 智能体配备视觉能力:内置免费视觉链路(无需密钥)+ 像素级视觉工具(问答、定位、裁剪、像素差异、颜色、OCR、SVG 描摹、抠图、截图)。一条命令即可安装,无需 Python,图像回合的工作方式与普通工具调用回合相同。
为纯文本模型“看图”设计更好的视觉工具箱和技能,支持多图理解,图片问答,前端UI还原、GUI 自动化等,并可选无缝接入多个主流agent,直接识别粘贴图片| 为纯文本LLM设计的视觉工具箱和技能——图片问答、长截图OCR、前端UI还原和GUI自动化,可选无缝集成Codex、Claude Code、Pi、Oh My Pi和OpenCode