一种简单有效的图像和文本双模态融合方法

本文旨在介绍一种图像和文本双模态的特征融合方法，该方法易于实现，仅仅使用文本预训练模型如Bert，就可以将图像模态融入到文本模态中。

第一步：将图像转化为n*768的特征向量

使用 nf_resnet50 神经网络，将图像传入，使用池化层后的输出层特征向量，该向量是一个1*2304维度的特征向量。

将上述特征向量进行线性变换，转化为n*768维度大的特征向量。

第二步：将图像特征向量和文本embedding层向量融合

Bert具有三个embedding层，分别是Token，Segment，Position，我们使用Token层的信息，该层代表了文本的词向量信息，是一个l*768维的向量。

使用该向量与第一步我们得到的n*768维的图像特征向量作简单的拼接，得到 (l+n)768维度的双模态特征向量，再进行剪切，使得该向量转化为max_sequence_length768维的特征向量后，将该向量与原Token层向量进行替换即可。

上述方法经试验后证明有效，具体代码细节欢迎大家前来探讨。