Interaction-and-Aggregation Network for Person Re-identification

行人重识别之网络设计

Interaction-and-Aggregation Network for Person Re-identification
原文链接

许久没有看过在网络结构上进行设计的行人重识别文章,这篇文章针对行人重识别图像空间位置不匹配的问题设计了SIA模块,为了提取图像中的细节特征设计了CIA模块,两者结合成为IA模块,在深度网络中即插即用,几乎不会增加计算量,实验结果较好。

SIA:
SIA分为两个部分,外观关系部分和位置关系部分。
外观关系部分:
如图所示,对于每一张特征图,要计算出每一个点和其它点外观的相关程度,所以计算每一个点和其余所有点的乘积,这就构成了图中红色的map。但是一个点的视野有些狭小,所以有了黄色的2x2和蓝色的3x3的map。将三个map乘积就得到了外观关系的map。所以,最后的map的第i行就是特征图中第i个点和其它所有点的关系。如果有c个通道的特征图,那么最后就会产生c个灰色的map。
Interaction-and-Aggregation Network for Person Re-identification_第1张图片
位置关系部分:
仅仅计算外观关系而不考虑位置关系不够严谨,所以作者还要计算各个点之间的位置相关度。这个比较简单可以直接利用高斯分布进行描述,再进行归一化就好了。如下所示,分别是两个点使用高斯分布计算的位置相关程度和归一化公式。
Interaction-and-Aggregation Network for Person Re-identification_第2张图片
Interaction-and-Aggregation Network for Person Re-identification_第3张图片
计算完这两个部分,就可以进行SIA最后的运算:
Interaction-and-Aggregation Network for Person Re-identification_第4张图片
将两部分的map进行点与点的乘法操作,然后对原始的特征图F进行加权,就得到了新的特征图E。

使用SIA可以使网络自动发掘图像的结构信息,换句话说,可以对行人姿态和尺度的变化具有一定的鲁棒性。

如下图所示,在行人图像上任取五个点,然后得到五个点通过SIA得到的相关度热图,可以看出,网络可以识别出相关的部位。
Interaction-and-Aggregation Network for Person Re-identification_第5张图片

CIA:
作者的解释是,在高级的特征图中,每一个通道的特征图都会代表一定的语义信息。所以发掘各个通道之间的关联性可以进一步利用这些语义信息,从而发现图像中一些诸如书包、鞋子、腰带等的细节。有些牵强,但是有用就好。

Interaction-and-Aggregation Network for Person Re-identification_第6张图片
如图所示,三维特征图转变为二维,每一行或者一列代表一个通道。将上下两个二维特征图进行矩阵乘法操作,就可以计算出各个通道之间的相关程度,得到图中橘色色调的map,然后使用其对特征图进行加权,获得新的特征图。

最后,作者将SIA和CIA进行连接,构成了IA,插进resnet50中,实现性能的提升,如下所示。
Interaction-and-Aggregation Network for Person Re-identification_第7张图片

总结:网络设计方面的文章,通常原理比较简单,但是有很多细节方面要做到仔细考究。比如,插入几个IA,插在哪些层,在IA中是SIA在前还是CIA在前,等等。这需要我们不断培养自己科学的研究方法和编程能力。所以,发好文章还是需要一定的科学功底。共勉!


欢迎讨论 欢迎吐槽

你可能感兴趣的:(行人重识别(REID))