#multimodal 仓库
共 183 个仓库
WIT(Wikipedia-based Image Text)数据集是一个大型多模态多语言数据集,包含3700万+的图像-文本对,其中有1100万+的独特图像,覆盖100多种语言。
🩺 首个会看胸部X光片的中文多模态医学大模型 | The first Chinese Medical Multimodal Model that Chest Radiographs Summarization.
开放式多模态决策模型,参数规模从 0.8B 到 27B,支持文本、图像和视频。对自选候选项进行概率判断,并用边界框定位,而非生成文本。提供免费 API、ONNX、GGUF、vLLM 和 SGLang;附带微调代码。
⚡ 使用 FastAPI、Playwright 和 OpenAI 兼容的多模态模型构建的、可自托管的 YesCaptcha 兼容 CAPTCHA 求解器。
本地监控 + AI 视觉 — 基于 LAN 的智能手机驱动的 AI 监控框架,具有结构化事件输出,用于数据采集和分析。
一款适用于 Codex、Claude Code 和其他 AI 智能体中图片密集型对话的本地插件:较早的图片会被替换为简短的占位符,而不是随每条消息重复发送;模型可通过图片 ID 取回原图(即使经过上下文压缩也可以),提示缓存也能继续正常工作。
Paddle Multimodal Integration and eXploration,支持主流多模态任务,包括端到端大规模多模态预训练模型和扩散模型工具箱。具备高性能和灵活性。
该仓库包含“VLM2Vec / MMEB”[ICLR 2025]、“VLM2Vec-V2 / MMEB-V2”[TMLR 2026]和“MMEB-V3”[COLM 2026]的代码。
[ECCV 2024] InstructIR: 遵循人类指令的高质量图像恢复 https://huggingface.co/spaces/marcosv/InstructIR
通用全息闪卡 Agent Skill,不挑宿主,兼容多模态模型:一句话生成可拖动旋转、流光效果、层次分明且具有景深的 3D 闪卡网页,并附可编辑的 Blender 工程。
面向 GGUF 模型的原生 .NET 大语言模型推理引擎和智能体运行时。TensorSharp 提供控制台应用、基于 Web 的聊天机器人界面、iPhone 应用,以及兼容 Ollama/OpenAI 的 HTTP API,支持以编程方式访问。它支持 Windows、macOS、iOS 和 Linux,并具备完整的 GPU 能力。