Interaction-and-Aggregation Network for Person Re-identification

行人重识别之网络设计

Interaction-and-Aggregation Network for Person Re-identification
原文链接

许久没有看过在网络结构上进行设计的行人重识别文章，这篇文章针对行人重识别图像空间位置不匹配的问题设计了SIA模块，为了提取图像中的细节特征设计了CIA模块，两者结合成为IA模块，在深度网络中即插即用，几乎不会增加计算量，实验结果较好。

SIA:
SIA分为两个部分，外观关系部分和位置关系部分。
外观关系部分：
如图所示，对于每一张特征图，要计算出每一个点和其它点外观的相关程度，所以计算每一个点和其余所有点的乘积，这就构成了图中红色的map。但是一个点的视野有些狭小，所以有了黄色的2x2和蓝色的3x3的map。将三个map乘积就得到了外观关系的map。所以，最后的map的第i行就是特征图中第i个点和其它所有点的关系。如果有c个通道的特征图，那么最后就会产生c个灰色的map。

位置关系部分：
仅仅计算外观关系而不考虑位置关系不够严谨，所以作者还要计算各个点之间的位置相关度。这个比较简单可以直接利用高斯分布进行描述，再进行归一化就好了。如下所示，分别是两个点使用高斯分布计算的位置相关程度和归一化公式。


计算完这两个部分，就可以进行SIA最后的运算：

将两部分的map进行点与点的乘法操作，然后对原始的特征图F进行加权，就得到了新的特征图E。

使用SIA可以使网络自动发掘图像的结构信息，换句话说，可以对行人姿态和尺度的变化具有一定的鲁棒性。

如下图所示，在行人图像上任取五个点，然后得到五个点通过SIA得到的相关度热图，可以看出，网络可以识别出相关的部位。

CIA:
作者的解释是，在高级的特征图中，每一个通道的特征图都会代表一定的语义信息。所以发掘各个通道之间的关联性可以进一步利用这些语义信息，从而发现图像中一些诸如书包、鞋子、腰带等的细节。有些牵强，但是有用就好。

如图所示，三维特征图转变为二维，每一行或者一列代表一个通道。将上下两个二维特征图进行矩阵乘法操作，就可以计算出各个通道之间的相关程度，得到图中橘色色调的map，然后使用其对特征图进行加权，获得新的特征图。

最后，作者将SIA和CIA进行连接，构成了IA，插进resnet50中，实现性能的提升，如下所示。

总结：网络设计方面的文章，通常原理比较简单，但是有很多细节方面要做到仔细考究。比如，插入几个IA，插在哪些层，在IA中是SIA在前还是CIA在前，等等。这需要我们不断培养自己科学的研究方法和编程能力。所以，发好文章还是需要一定的科学功底。共勉！

完
欢迎讨论 欢迎吐槽