Git Stars Git Stars

#multi-modal 仓库

探索 47 个标记为 #multi-modal 的活跃开源 GitHub 仓库,它们累计获得 208,313 个 Star(平均每个项目 4,432 个)。该主题的领先项目是 agentscope-ai/agentscope,拥有 36,422 个 Star。

47
仓库总数
208,313
总星标数
4,432
平均每个仓库星标数
1
agentscope-ai/agentscope

构建和运行可视、可理解、可信任的代理。

agentscope-ai
⭐ 36,422 Python 👤 agentscope-ai Organization 🕐 已更新 2026-11-20 📅 创建时间 2024-01-12
2
OpenBMB/MiniCPM-V

在本地设备上查看、聆听并互动。

OpenBMB
⭐ 27,174 Python 👤 OpenBMB Organization 🕐 已更新 2026-11-09 📅 创建时间 2024-01-29
3
TEN-framework/ten-framework

面向对话式语音 AI 代理的开源框架

TEN-framework
⭐ 11,241 Python 👤 TEN-framework Organization 🕐 已更新 2026-11-20 📅 创建时间 2024-06-19
4
OpenGVLab/InternVL

[CVPR 2024 Oral] InternVL Family: GPT-4o 的开创性开源替代方案。接近 GPT-4o 表现的开源多模态对话模型

OpenGVLab
⭐ 10,160 Python 👤 OpenGVLab Organization 🕐 已更新 2025-09-22 📅 创建时间 2023-11-22
5
modelscope/modelscope

ModelScope:将Model-as-a-Service的概念变为现实。

modelscope
⭐ 9,224 Python 👤 modelscope Organization 🕐 已更新 2026-11-16 📅 创建时间 2022-07-25
6
datajuicer/data-juicer

为基础模型处理数据,以及使用基础模型处理数据! 🍎 🍋 🌽 ➡️ ➡️🍸 🍹 🍷

datajuicer
⭐ 7,266 Python 👤 datajuicer Organization 🕐 已更新 2026-11-20 📅 创建时间 2023-08-01
7
enricoros/big-AGI

面向专家的 AI 工作空间。在聊天过程中切换 800+ 个模型,调节 40+ 项参数,并排对比 Beam 模型。支持自带密钥(BYO keys),可自行托管。基于我们的原生协议引擎构建:可靠、高度可配置且快速。

enricoros
⭐ 7,167 TypeScript 👤 enricoros User 🕐 已更新 2026-11-20 📅 创建时间 2023-03-19
8
zai-org/CogVLM

领先的开放视觉语言模型 | 多模态预训练模型

zai-org
⭐ 6,712 Python 👤 zai-org Organization 🕐 已更新 2024-05-29 📅 创建时间 2023-09-18
9
valhalla/valhalla

OpenStreetMap 的开源路由引擎

valhalla
⭐ 6,475 C++ 👤 valhalla Organization 🕐 已更新 2026-11-21 📅 创建时间 2016-01-19
10
OFA-Sys/Chinese-CLIP

CLIP 的中文版本,可实现中文跨模态检索和表示生成。

OFA-Sys
⭐ 6,056 Jupyter Notebook 👤 OFA-Sys Organization 🕐 已更新 2026-03-31 📅 创建时间 2022-07-08
11
google-deepmind/gemma

Google DeepMind 的 Gemma 开源大模型库

google-deepmind
⭐ 5,867 Python 👤 google-deepmind Organization 🕐 已更新 2026-11-19 📅 创建时间 2024-02-20
12
lucidrains/DALLE-pytorch

在PyTorch中实现/复刻OpenAI的文本到图像Transformer DALL-E

lucidrains
⭐ 5,632 Python 👤 lucidrains User 🕐 已更新 2024-02-17 📅 创建时间 2021-01-05
13
marqo-ai/marqo

电商搜索与发现 - marqo.ai

marqo-ai
⭐ 5,024 Python 👤 marqo-ai Organization 🕐 已更新 2026-09-03 📅 创建时间 2022-08-01
14
open-compass/VLMEvalKit

大型多模态模型(LMM)的开源评估工具包,支持 220+ LMM,80+ 标杆

open-compass
⭐ 4,499 Python 👤 open-compass Organization 🕐 已更新 2026-11-19 📅 创建时间 2023-12-01
15
zjunlp/DeepKE

[EMNLP 2022] 知识图谱提取和构建的开放工具包

zjunlp
⭐ 4,486 Python 👤 zjunlp Organization 🕐 已更新 2026-07-13 📅 创建时间 2018-08-01
16
VectorSpaceLab/OmniGen

OmniGen:统一图像生成。 https://arxiv.org/pdf/2409.11340

VectorSpaceLab
⭐ 4,340 Jupyter Notebook 👤 VectorSpaceLab Organization 🕐 已更新 2025-12-04 📅 创建时间 2024-09-16
17
zai-org/VisualGLM-6B

Chinese and English multimodal conversational language model | 多模态中英双语对话语言模型

zai-org
⭐ 4,181 Python 👤 zai-org Organization 🕐 已更新 2024-08-23 📅 创建时间 2023-04-23
18
SciSharp/LLamaSharp

一个在本地设备上高效运行 LLM (🦙LLaMA/LLaVA) 的 C#/.NET 库。

SciSharp
⭐ 3,826 C# 👤 SciSharp Organization 🕐 已更新 2026-11-20 📅 创建时间 2023-05-09
19
huangjunsen0406/py-xiaozhi

开源AI助手生态系统,具有MCP集成、多模态工作流、物联网支持和跨平台语音交互功能。

huangjunsen0406
⭐ 3,560 Python 👤 huangjunsen0406 User 🕐 已更新 2026-11-09 📅 创建时间 2025-02-15
20
PKU-YuanGroup/Video-LLaVA

【EMNLP 2024🔥】Video-LLaVA: 投影前对齐学习统一视觉表示

PKU-YuanGroup
⭐ 3,425 Python 👤 PKU-YuanGroup Organization 🕐 已更新 2024-12-03 📅 创建时间 2023-10-23
21
docarray/docarray

表示、发送、存储和搜索多模态数据

docarray
⭐ 3,123 Python 👤 docarray Organization 🕐 已更新 2026-03-27 📅 创建时间 2021-12-14
22
JIA-Lab-research/LISA

"LISA: 通过大型语言模型进行推理分割" 项目页面

JIA-Lab-research
⭐ 2,643 Python 👤 JIA-Lab-research Organization 🕐 已更新 2025-02-16 📅 创建时间 2023-08-01
23
zai-org/CogVLM2

基于 Llama3-8B 的 GPT4V 级开源多模态模型

zai-org
⭐ 2,439 Python 👤 zai-org Organization 🕐 已更新 2025-03-03 📅 创建时间 2024-05-10
24
PKU-YuanGroup/MoE-LLaVA

【TMM 2025🔥】 大型视觉语言模型的专家混合

PKU-YuanGroup
⭐ 2,321 Python 👤 PKU-YuanGroup Organization 🕐 已更新 2025-07-15 📅 创建时间 2023-12-14
25
tangxyw/RecSysPapers

推荐/广告/搜索领域工业界经典以及最前沿论文集合。A collection of industry classics and cutting-edge papers in the field of recommendation/advertising/search.

tangxyw
⭐ 2,216 Python 👤 tangxyw User 🕐 已更新 2026-06-11 📅 创建时间 2022-08-16
26
OpenMotionLab/MotionGPT

[NeurIPS 2023] MotionGPT: 人类运动作为一门外语,一个利用LLM统一的运动-语言生成模型

OpenMotionLab
⭐ 1,943 Python 👤 OpenMotionLab Organization 🕐 已更新 2025-07-01 📅 创建时间 2023-06-20
27
Kav-K/GPTDiscord

专为 Discord 设计的强大、一体化 GPT 接口。 ChatGPT 式对话、图像生成、AI 审核、自定义索引/知识库、YouTube 摘要器等!

Kav-K
⭐ 1,852 Python 👤 Kav-K User 🕐 已更新 2026-11-01 📅 创建时间 2022-12-08
28
IntelLabs/fastRAG

高效检索增强生成框架

IntelLabs
⭐ 1,758 Python 👤 IntelLabs Organization 🕐 已更新 2025-01-09 📅 创建时间 2023-01-23
29
bytedance/SALMONN

SALMONN家族:一套先进的多模态大语言模型

bytedance
⭐ 1,576 👤 bytedance Organization 🕐 已更新 2026-10-16 📅 创建时间 2023-08-11
30
lucidrains/transfusion-pytorch

Transfusion(“用一个多模态模型预测下一个 Token 和扩散图像”)的 Pytorch 实现,来自 MetaAI

lucidrains
⭐ 1,412 Python 👤 lucidrains User 🕐 已更新 2026-09-04 📅 创建时间 2024-08-23
31
datascale-ai/data_engineering_book

大模型数据工程:架构、算法及项目实战

datascale-ai
⭐ 1,398 Python 👤 datascale-ai Organization 🕐 已更新 2026-11-19 📅 创建时间 2026-01-31
32
MedMNIST/MedMNIST

[pip install medmnist] 18个用于2D和3D生物医学图像分类的标准数据集

MedMNIST
⭐ 1,367 Python 👤 MedMNIST Organization 🕐 已更新 2025-01-11 📅 创建时间 2020-10-25
33
vercel/modelfusion

用于构建 AI 应用程序的 TypeScript 库。

vercel
⭐ 1,307 TypeScript 👤 vercel Organization 🕐 已更新 2024-07-19 📅 创建时间 2023-05-25
34
Tebmer/Awesome-Knowledge-Distillation-of-LLMs

本仓库收集了关于“大语言模型知识蒸馏调查”的论文。我们将知识蒸馏分解为知识提取和蒸馏算法,并探索了LLM的技能和垂直蒸馏。

Tebmer
⭐ 1,282 👤 Tebmer User 🕐 已更新 2025-03-09 📅 创建时间 2024-02-08
35
OpenBMB/VisRAG

VLM支持的无解析RAG

OpenBMB
⭐ 991 Python 👤 OpenBMB Organization 🕐 已更新 2026-11-02 📅 创建时间 2024-10-14
36
microsoft/farmvibes-ai

FarmVibes.AI:面向农业和可持续发展的多模态地理空间机器学习模型

microsoft
⭐ 913 Jupyter Notebook 👤 microsoft Organization 🕐 已更新 2026-11-03 📅 创建时间 2022-09-06
37
PKU-YuanGroup/LanguageBind

【ICLR 2024🔥】 通过基于语言的语义对齐将视频-语言预训练扩展到N模态

PKU-YuanGroup
⭐ 856 Python 👤 PKU-YuanGroup Organization 🕐 已更新 2024-03-25 📅 创建时间 2023-10-02
38
AnswerDotAI/byaldi

只需几行代码即可使用 ColPali 等后期交互多模态模型。

AnswerDotAI
⭐ 848 Python 👤 AnswerDotAI Organization 🕐 已更新 2025-01-28 📅 创建时间 2024-09-04
39
OpenVGLab/OmniLottie

[CVPR 2026🔥] 🧑‍🎨 OmniLottie,一款开源的多模态指令向量动画生成器,可生成 Lottie JSON。

OpenVGLab
⭐ 816 Python 👤 OpenVGLab Organization 🕐 已更新 2026-04-06 📅 创建时间 2026-01-15
40
raphael-seo/Versatile-OCR-Program

为 ML 训练优化的多模态 OCR 管道(文本、图表、数学、表格、示意图)

raphael-seo
⭐ 677 Python 👤 raphael-seo User 🕐 已更新 2026-05-13 📅 创建时间 2025-04-01
41
salesforce/UniControl

统一可控视觉生成模型

salesforce
⭐ 665 Python 👤 salesforce Organization 🕐 已更新 2026-06-02 📅 创建时间 2023-05-18
42
InternRobotics/Aether

[ICCV 2025 & ICCV 2025 RIWM 杰出论文奖] Aether: 几何感知统一世界建模

InternRobotics
⭐ 614 Python 👤 InternRobotics Organization 🕐 已更新 2025-10-26 📅 创建时间 2025-03-24
43
F-R-L/forge-film

多模型DAG驱动的并行AI影视生成 — 并行加速随场景独立性扩展;同时生成影视场景而非逐一生成;"把影视生成的执行图从拓扑序变成关键路径最优调度" ;唯一把场景叙事依赖建模为DAG、以CPM算法驱动并行调度的影视生成引擎

F-R-L
⭐ 540 Python 👤 F-R-L User 🕐 已更新 2026-03-26 📅 创建时间 2026-03-24
44
kyegomez/RT-2

RT-2 的民主化 “RT-2:新模型将愿景和语言转化为行动”

kyegomez
⭐ 539 Python 👤 kyegomez User 🕐 已更新 2024-07-26 📅 创建时间 2023-07-28
45
worldbench/awesome-vla-for-ad

🌐 自动驾驶中的视觉-语言-动作模型:过去、现在与未来

worldbench
⭐ 530 HTML 👤 worldbench Organization 🕐 已更新 2026-11-14 📅 创建时间 2025-09-07
46
patrickjohncyh/fashion-clip

FashionCLIP 是一个针对时尚领域微调的类似 CLIP 的模型。

patrickjohncyh
⭐ 518 Python 👤 patrickjohncyh User 🕐 已更新 2025-01-30 📅 创建时间 2022-05-20
47
jqtangust/Robust-R1

🔥🔥🔥[AAAI 2026 Oral] Robust-R1 官方实现:降级感知推理以实现稳健视觉理解

jqtangust
⭐ 510 Python 👤 jqtangust User 🕐 已更新 2026-01-20 📅 创建时间 2025-11-09

常见问题解答

1

GitHub 上最受欢迎的 #multi-modal 仓库是什么?

GitHub 上排名第一的开源 #multi-modal 项目是 agentscope-ai/agentscope,拥有 36,422 个 Star。构建和运行可视、可理解、可信任的代理。

2

#multi-modal 仓库中最常使用的编程语言有哪些?

在 GitHub 上排名靠前的 #multi-modal 项目中,最常见的编程语言是 Python, Jupyter Notebook, TypeScript, C++。

3

#multi-modal 仓库的排名是如何计算的?

我们跟踪了 47 个标记为 #multi-modal 且拥有 500+ 个 Star 的活跃开源仓库,共计获得 208,313 个 Star,平均每个仓库拥有 4,432 个 Star。排名每日根据 GitHub API 更新。