Person Search by Separated Modeling and A Mask-Guided Two-Stream CNN Model通过分离建模和掩码指导的两流CNN模型进行人员搜索

结论：对于人员搜索问题，通过分别而不是联合解决行人检测和人员重新识别任务，可以实现更好的性能。

Motivation：
1.Instead of sharingrepresentations in a single joint model, we find that separating detector and re-ID feature extraction yields better performance.
（就是检测和re-ID任务的目的是分别为人们建模类间和类内的差异。作者认为将这两项任务分开比共同解决更有意义）
2.在re-id中人们普遍认为具有识别性的信息存在于前景中，而背景是其中的不利因素之一，在提取特征时应予以忽略或去除。作者认为简单地放弃所有的背景信息可能会从两个方面损害re-ID的性能。首先，特征提取过程可能会从不完善或有噪声的分割掩码中采集到错误信息，即由分数体型引起的识别信息丢失。其次，背景信息有时可以作为有用的背景。排除所有的背景区域会忽略一些关于重新识别问题的信息线索。所以选择了一种折衷的策略，即在使用背景作为补充线索的同时，对前景的人给予额外的关注。
本文介绍的方法：
MGTS网络：
为提取更有代表性的特征，将前景人物从图像中提取出来
分别对前景人物和整个图像进行建模，获得两个独立的CNN流
CWSA：
提出一个基于置信度加权的流注意方法，该方法通过加入检测置信度来进一步调整两个流的相对重要性。
简化框架MGTS-lite：
将语义分割加入到ReID网络中来简化网络，不再依赖于任何外部分割模型。简化的框架继承了来自前景和来自MGTS的原始图像的信息组合的思想。总的来说，MGTS-lite是一种基于两流结构的简化框架，以分别提取每个前景人物和原始图像补丁的特征。来自两个流的特征被串联为RoI池化层的丰富表示，并且应用重新加权操作以突出显示更多有用的特征，同时抑制不太有用的特征。

框架：
上图是MGTS-lite的框架，可以看出包括两个部分：行人检测和人员重新识别。Faster R-CNN用于行人检测
上图是SEBlock的结构。SEBlock将原始的和前景的特征图连接起来，并对其进行重新加权，其输出特征由检测器产生的检测信任进一步调整，这些信任基于它们所属的流。SEBlock取自论文Squeeze-and-excitation networks,中的模型。
行人检测器和MGTS-lite是独立训练的，所以MGTS-lite使用的是groundtruth来训练的而不是检测器检测的。

训练采用的损失函数为识别损失和分段损失的线性组合。

实验：在CUHK-SYSU and PRW两个数据集上进行实验。使用PyTorch。基于VGG的行人检测器使用ImageNet预训练的模型初始化。

取得的结果：
CUHK-SYSU

PRW

MGTS（上排）和MGTS-lite（下排）之间的每帧运行时比较。（比较网络的优点，可以考虑运行时长）

在消融实验中得到结论：
1.联合训练会同时损害检测和re-ID性能，因此单独解决它们是一个更好的解决方案。
2.两流模型的性能优于一流模型。
3.背景是re-id的重要提示。

最后一段关于损失函数的讨论：比较交叉熵损失和三重态损失，比较了二者的优缺点和局限性。