Embedding Deep Metric for Person Re-identification: A Study Against Large Variations

ECCV 2016 person re-identification相关 第二篇

作者针对reID中的两大问题 1. 特征提取 2.度量学习 提出了两个idea

主要思想之一 特征提取方面 Moderate positive Mining

之前在cvpr2015An improved deep learning architecture for person re-identification这篇文章提出过 hard negative mining strategy，具体做法如下：因为negative的pair数量远远多于positive pair的数量 所以先对negative pair降采样，使其数量为positive的两倍 然后训练cnn，用训练出来的模型去classification所有negative pairs ，把表现最差的那些 取数量和positive pair数量相同的 negative pair，和positive一起，再次训练cnn， 我理解这样做是在强化cnn

这篇文章提出，使用moderate positive mining和hard negative mining 一样重要 尤其是在intra class 中variation很大的时候 作者认为，把所有positive pair 都学习 会损害manifold learning ，因为像图中带星号的黄线这一对，显然对学习是有害的：

所以最直观的想法就是 有选择性的选取positive pairs 来降低 intra class variance，同时保持intrinsic graphical structure of pedestrian data

那么如何有选择性的选取positive pairs并达到上述目的就显得很重要了。 如果全部选择easy positive pairs 那么收敛会很慢（因为每个pair都差不多） 如果全部选择hard ，会损害learning 。因此作者提出moderate positive mining的思想，算法描述如下:

形象化的图示如下所示：

作者认为，用上述方法选择的数据来训练是有好处的。

主要思想之二 度量学习方面 weight constraint

loss 函数如下（目的是最小化intra class 的variance，最大化类间的variance）：

其中d是这么算的：

如果M = WWT是单位矩阵 那么就是欧式距离 如果M是是协方差矩阵 那么就是马氏距离
两者各有优劣 欧式距离discrimination差一点但是泛化能力好 因为它不考虑尺度和维度的相关性 。马氏距离考虑尺度和维度的相关性，但是容易过拟合 所以作者想了个办法来在这两者间做平衡：

当lambda很小的时候，近似于马氏距离，当lambda很大的时候，近似于欧式距离

以上就是作者提出的weight constraint

训练细节

这篇论文在训练CNN的时候，将图片分成三个branch来训练，分别是头 上身 下身：

实验结果

CUHK03

CUHK01

VIPeR