Git Stars Git Stars

#multimodal 仓库

探索 183 个标记为 #multimodal 的活跃开源 GitHub 仓库,它们累计获得 700,629 个 Star(平均每个项目 3,828 个)。该主题的领先项目是 Mintplex-Labs/anything-llm,拥有 68,480 个 Star。

183
仓库总数
700,629
总星标数
3,828
平均每个仓库星标数

共 183 个仓库

1
Mintplex-Labs/anything-llm

停止租借你的智慧。用AnythingLLM拥有它。打造强大本地优先代理体验所需的一切

Mintplex-Labs
⭐ 68,480 JavaScript 👤 Mintplex-Labs Organization 🕐 已更新 2026-11-21 📅 创建时间 2023-06-04
2
bojieli/ai-agent-book

《深入理解 AI Agent:设计原理与工程实践》(李博杰 著)开源主仓库:全书正文、编译版 PDF 与按章配套代码

bojieli
⭐ 58,976 Python 👤 bojieli User 🕐 已更新 2026-10-08 📅 创建时间 2025-09-09
3
bytedance/UI-TARS-desktop

开源多模态AI代理栈:连接前沿AI模型和代理基础设施

bytedance
⭐ 39,583 TypeScript 👤 bytedance Organization 🕐 已更新 2026-10-09 📅 创建时间 2025-01-19
4
haotian-liu/LLaVA

[NeurIPS'23 Oral] Visual Instruction Tuning (LLaVA) 致力于实现 GPT-4V 级别乃至更高级别的能力。

haotian-liu
⭐ 24,232 Python 👤 haotian-liu User 🕐 已更新 2024-08-12 📅 创建时间 2023-04-17
5
screenpipe/screenpipe

YC(S26)| Screenpipe 找出值得自动化的工作 | 在本地持续记录电脑上的工作,发现重复出现的工作流程,并将结果交给你已经在使用的任意智能体。

screenpipe
⭐ 22,492 Rust 👤 screenpipe Organization 🕐 已更新 2026-11-21 📅 创建时间 2024-06-19
6
microsoft/unilm

跨任务、语言和模态的大规模自监督预训练

microsoft
⭐ 22,247 Python 👤 microsoft Organization 🕐 已更新 2026-09-21 📅 创建时间 2019-07-23
7
jina-ai/serve

☁️ 使用云原生堆栈构建多模态 AI 应用程序

jina-ai
⭐ 21,864 Python 👤 jina-ai Organization 🕐 已更新 2025-03-24 📅 创建时间 2020-02-13
8
deepseek-ai/Janus

Janus-Series:统一的多模态理解与生成模型

deepseek-ai
⭐ 17,737 Python 👤 deepseek-ai Organization 🕐 已更新 2025-02-01 📅 创建时间 2024-10-18
9
modelscope/ms-swift

使用 PEFT 或全参数训练,对 600 多个 LLM(Qwen3.8、DeepSeek-V4、GLM-5.1、InternLM3、Llama4 等)和 300 多个 MLLM(Qwen3-VL、Qwen3-Omni、InternVL3.5、Ovis2.5、GLM5.3、Gemma4、LLaVA、Phi4 等)进行 CPT/SFT/DPO/GRPO(AAAI 2025)。

modelscope
⭐ 16,138 Python 👤 modelscope Organization 🕐 已更新 2026-11-21 📅 创建时间 2023-08-01
10
datawhalechina/all-in-rag

🔍大模型应用开发实战一:RAG 技术全栈指南,在线阅读地址:https://datawhalechina.github.io/all-in-rag/

datawhalechina
⭐ 13,275 Python 👤 datawhalechina Organization 🕐 已更新 2026-11-16 📅 创建时间 2025-06-05
11
rerun-io/rerun

可视化、查询并流式传输,以训练多模态机器人数据。

rerun-io
⭐ 11,848 Rust 👤 rerun-io Organization 🕐 已更新 2026-11-21 📅 创建时间 2022-04-08
12
StarTrail-org/PixelRAG

https://arxiv.org/abs/2606.28344. 网页解析的终结。可扩展的原生像素搜索的开端。链接:https://pixelrag.ai/

StarTrail-org
⭐ 10,976 Python 👤 StarTrail-org Organization 🕐 已更新 2026-11-19 📅 创建时间 2026-05-29
13
RunanywhereAI/runanywhere-sdks

用于在本地运行AI的生产就绪型工具包

RunanywhereAI
⭐ 10,354 C++ 👤 RunanywhereAI Organization 🕐 已更新 2026-11-10 📅 创建时间 2025-07-22
14
yzhao062/pyod

一个用于表格、时间序列、图、文本、图像和音频数据异常检测的 Python 库。包含 60 多个检测器、基于基准测试的 ADEngine 编排,以及用于 AI 代理的智能体工作流。

yzhao062
⭐ 10,098 Python 👤 yzhao062 User 🕐 已更新 2026-11-12 📅 创建时间 2017-10-03
15
apache/seatunnel

SeaTunnel 是一个多模态、高性能、分布式、海量数据集成工具。

apache
⭐ 9,821 Java 👤 apache Organization 🕐 已更新 2026-11-21 📅 创建时间 2017-08-05
16
X-PLUG/MobileAgent

Mobile-Agent:强大的 GUI Agent 系列

X-PLUG
⭐ 9,396 Python 👤 X-PLUG Organization 🕐 已更新 2026-11-03 📅 创建时间 2024-01-26
17
activeloopai/deeplake

Deeplake 是 Agents 的 AI 数据运行时。它提供无服务器 Postgres 和多模态数据湖,支持可扩展的检索和训练。

activeloopai
⭐ 9,273 C++ 👤 activeloopai Organization 🕐 已更新 2026-05-21 📅 创建时间 2019-08-09
18
bentoml/BentoML

提供 AI 应用和模型的最简单方式 - 构建模型推理 API、工作队列、LLM 应用、多模型管道等!

bentoml
⭐ 8,944 Python 👤 bentoml Organization 🕐 已更新 2026-11-17 📅 创建时间 2019-04-02
19
Neywa-Labs/mlx-audio

一个基于 Apple MLX 框架的文本转语音 (TTS)、语音转文本 (STT) 和语音转语音 (STS) 库,可在 Apple Silicon 上提供高效的语音分析。

Neywa-Labs
⭐ 8,315 Python 👤 Neywa-Labs Organization 🕐 已更新 2026-11-20 📅 创建时间 2024-11-27
20
vllm-project/vllm-omni

适用于全模态模型的高效模型推理框架

vllm-project
⭐ 7,884 Python 👤 vllm-project Organization 🕐 已更新 2026-11-21 📅 创建时间 2025-09-11
21
genkit-ai/genkit

用于在JavaScript、Go、Dart和Python中构建代理应用程序的开源框架,由Google构建并在生产环境中使用

genkit-ai
⭐ 6,609 TypeScript 👤 genkit-ai Organization 🕐 已更新 2026-11-21 📅 创建时间 2024-04-29
22
ARahim3/DigUp

根据文件内容搜索你的电脑:照片、PDF、文档、录音、视频和代码。可在 Mac、Windows 和 Linux 本地运行,基于 Google DeepMind 的 EmbeddingGemma 2 构建。

ARahim3
⭐ 6,484 Swift 👤 ARahim3 User 🕐 已更新 2026-10-26 📅 创建时间 2026-10-08
23
swyxio/ai-notes

供软件工程师了解最新人工智能发展的笔记。用作 https://latent.space 的写作和产品头脑风暴的数据存储,但在 /Resources 文件夹下整理了规范的参考资料。

swyxio
⭐ 6,257 HTML 👤 swyxio User 🕐 已更新 2026-02-16 📅 创建时间 2022-09-04
24
SkalskiP/courses

本存储库是关于人工智能(AI)的各种课程和资源的精选链接集。

SkalskiP
⭐ 6,256 Python 👤 SkalskiP User 🕐 已更新 2024-04-22 📅 创建时间 2023-04-02
25
om-ai-lab/VLM-R1

用增强型视觉语言模型解决视觉理解问题

om-ai-lab
⭐ 6,048 Python 👤 om-ai-lab Organization 🕐 已更新 2026-07-07 📅 创建时间 2025-02-06
26
Eventual-Inc/Daft

适用于 AI 和多模态工作负载的高性能数据引擎。以任何规模处理图像、音频、视频和结构化数据。

Eventual-Inc
⭐ 5,858 Rust 👤 Eventual-Inc Organization 🕐 已更新 2026-11-09 📅 创建时间 2022-04-25
27
PySpur-Dev/pyspur

agentic 工作流程的可视化游乐场:将您的 agent 迭代速度提高 10 倍

PySpur-Dev
⭐ 5,809 TypeScript 👤 PySpur-Dev Organization 🕐 已更新 2026-06-29 📅 创建时间 2024-09-23
28
OpenBMB/UltraRAG

用于构建复杂且创新 RAG 管道的低代码 MCP 框架

OpenBMB
⭐ 5,748 Python 👤 OpenBMB Organization 🕐 已更新 2026-11-21 📅 创建时间 2025-01-16
29
facebookresearch/mmf

Facebook AI Research (FAIR) 的视觉与语言多模态研究模块化框架

facebookresearch
⭐ 5,634 Python 👤 facebookresearch Organization 🕐 已更新 2026-10-06 📅 创建时间 2018-06-27
30
InternLM/xtuner

专为超大型 MoE 模型构建的下一代训练引擎

InternLM
⭐ 5,223 Python 👤 InternLM Organization 🕐 已更新 2026-11-20 📅 创建时间 2023-07-11
31
liustack/modlens

DeepSeek Harness 的首个视觉插件,也是所有纯文本编码代理的视觉桥梁。粘贴图片,即可获得结构化 JSON 证据(OCR、版面、语义)。

liustack
⭐ 5,050 TypeScript 👤 liustack User 🕐 已更新 2026-11-15 📅 创建时间 2026-02-22
32
PKU-Alignment/align-anything

Align Anything:通过反馈训练全模态模型

PKU-Alignment
⭐ 4,669 Python 👤 PKU-Alignment Organization 🕐 已更新 2025-11-27 📅 创建时间 2024-07-14
33
kyegomez/tree-of-thoughts

思维之树"的即插即用实现:利用大型语言模型进行深思熟虑的问题解决,将模型推理能力提升至少 70%

kyegomez
⭐ 4,592 Python 👤 kyegomez User 🕐 已更新 2026-09-29 📅 创建时间 2023-05-21
34
crmne/ruby_llm

Ruby AI 框架。

crmne
⭐ 4,522 Ruby 👤 crmne User 🕐 已更新 2026-11-18 📅 创建时间 2025-01-30
35
EvolvingLMMs-Lab/lmms-eval

文本、图像、视频和音频任务的“统一评估”多模态工具包

EvolvingLMMs-Lab
⭐ 4,501 Python 👤 EvolvingLMMs-Lab Organization 🕐 已更新 2026-11-20 📅 创建时间 2024-03-07
36
rom1504/img2dataset

轻松将大量图片URL转换为图像数据集。可在单台机器上,20小时内下载、调整大小并打包1亿个URL。

rom1504
⭐ 4,458 Python 👤 rom1504 User 🕐 已更新 2025-10-19 📅 创建时间 2021-08-11
37
luban-agi/Awesome-AIGC-Tutorials

专为大型语言模型、AI绘画等精选的教程和资源。

luban-agi
⭐ 4,419 👤 luban-agi Organization 🕐 已更新 2024-03-31 📅 创建时间 2023-08-22
38
OpenMOSS/MOSS-TTS

一个用于长篇语音、对话合成、声音设计、音效和实时流式文本转语音(TTS)的开源模型系列

OpenMOSS
⭐ 4,356 Python 👤 OpenMOSS Organization 🕐 已更新 2026-09-06 📅 创建时间 2026-02-07
39
IDEA-CCNL/Fengshenbang-LM

Fengshenbang-LM(封神榜大模型)是IDEA研究院认知计算与自然语言研究中心主导的大模型开源体系,成为中文AIGC和认知智能的基础设施。

IDEA-CCNL
⭐ 4,116 Python 👤 IDEA-CCNL Organization 🕐 已更新 2026-06-08 📅 创建时间 2021-10-28
40
aiming-lab/SimpleMem

[ICML'26] SimpleMem:面向大语言模型智能体的高效终身记忆——文本与多模态

aiming-lab
⭐ 3,883 Python 👤 aiming-lab Organization 🕐 已更新 2026-07-24 📅 创建时间 2026-01-01
41
open-mmlab/mmpretrain

OpenMMLab 预训练工具箱与基准

open-mmlab
⭐ 3,807 Python 👤 open-mmlab Organization 🕐 已更新 2024-11-01 📅 创建时间 2020-07-09
42
morphik-org/morphik-core

开源多模态检索引擎(Morphik Core)

morphik-org
⭐ 3,722 Python 👤 morphik-org Organization 🕐 已更新 2026-11-20 📅 创建时间 2024-11-11
43
atfortes/Awesome-LLM-Reasoning

从思维链提示到 OpenAI o1 和 DeepSeek-R1 🍓

atfortes
⭐ 3,713 👤 atfortes User 🕐 已更新 2026-04-20 📅 创建时间 2022-11-05
44
NExT-GPT/NExT-GPT

ICML 2024 会议论文代码和模型,NExT-GPT:任意到任意的多模态大型语言模型

NExT-GPT
⭐ 3,626 Python 👤 NExT-GPT User 🕐 已更新 2025-05-13 📅 创建时间 2023-08-30
45
embeddings-benchmark/mteb

MTEB:跨语言和模态的嵌入表示最新评估

embeddings-benchmark
⭐ 3,519 Python 👤 embeddings-benchmark Organization 🕐 已更新 2026-11-21 📅 创建时间 2022-04-05
46
TanStack/ai

🤖 这是一个类型安全且与提供商无关的 TypeScript AI SDK,支持 OpenAI、Anthropic、Gemini、React、Vue、Svelte 和 Solid,适用于流式聊天、工具调用、智能体和多模态应用。

TanStack
⭐ 3,375 TypeScript 👤 TanStack Organization 🕐 已更新 2026-11-21 📅 创建时间 2025-10-08
47
vortex-data/vortex

一个可扩展的、最先进的列式压缩框架,以及最快的FOSS列式文件格式。原属于@spiraldb,现为LFAI&Data的孵化阶段项目,隶属于Linux基金会。

vortex-data
⭐ 3,337 Rust 👤 vortex-data Organization 🕐 已更新 2026-11-21 📅 创建时间 2024-02-27
48
xlang-ai/OSWorld

[NeurIPS 2024] OSWorld: 针对真实计算机环境中的开放式任务的模态多Agents基准测试

xlang-ai
⭐ 3,273 Python 👤 xlang-ai Organization 🕐 已更新 2026-11-14 📅 创建时间 2023-10-16
49
OpenGVLab/InternGPT

InternGPT (iGPT) 是一个开源演示平台,您可以在其中轻松展示您的AI模型。现在它支持DragGAN、ChatGPT、ImageBind、类似GPT-4的多模态聊天、SAM、交互式图像编辑等。请在igpt.opengvlab.com进行体验(支持DragGAN、ChatGPT、ImageBind、SAM的在线Demo系统)。

OpenGVLab
⭐ 3,223 Python 👤 OpenGVLab Organization 🕐 已更新 2024-08-20 📅 创建时间 2023-05-08
50
microsoft/torchscale

(M)LLM 的基础架构

microsoft
⭐ 3,128 Python 👤 microsoft Organization 🕐 已更新 2024-04-11 📅 创建时间 2022-11-17

常见问题解答

1

GitHub 上最受欢迎的 #multimodal 仓库是什么?

GitHub 上排名第一的开源 #multimodal 项目是 Mintplex-Labs/anything-llm,拥有 68,480 个 Star。停止租借你的智慧。用AnythingLLM拥有它。打造强大本地优先代理体验所需的一切

2

#multimodal 仓库中最常使用的编程语言有哪些?

在 GitHub 上排名靠前的 #multimodal 项目中,最常见的编程语言是 Python, TypeScript, Rust, C++。

3

#multimodal 仓库的排名是如何计算的?

我们跟踪了 183 个标记为 #multimodal 且拥有 500+ 个 Star 的活跃开源仓库,共计获得 700,629 个 Star,平均每个仓库拥有 3,828 个 Star。排名每日根据 GitHub API 更新。