Person Transfer GAN to Bridge Domain Gap for Person Re-Identification（PTGAN+MSMT17）

论文分为数据集和图像风格迁移算法（两个数据集之间）两部分：

这是属于无监督的迁移，GAN

Motivation:

 

1.数据集和现实的区别：1.规模小2.场景单一 3.光照单一

解决：因此提出了更为复杂的数据集MSMT17。

2.想解决训练集测试集不均衡的问题：（目前训练测试集基本上时1：1的比例）

方法：重用之前的别的数据集训练。但是数据集之前的gap导致识别率低。

Multi-SceneMulti-Time person ReID dataset

1）更大的身份数，边界框和相机。

126,441bounding boxes of 4,101 identities

2）复杂的场景和背景。

校园内15个摄像机网络。12个户外摄像机和3个室内摄像机。一个月内选择不同天气条件的4天进行视频采集。每天早上，中午和下午分别拍摄3小时的视频。它比以前的数据集更适合场景模拟，但会带来严重的照明变化。

3）多个时隙导致严重的照明变化。

MSMT17包含最多数量的相机，即放置在不同位置的15个相机。它还与室内和户外视频一起构建，并未考虑在以前的数据集中。这些考虑导致复杂的背景和照明变化，也使MSMT17更具吸引力和挑战性。

4）更可靠的包围盒检测器。

与DPM相比，FasterRCNN [26]是实际应用中边界框检测的更好选择，例如更容易实现并且更准确。

 

视角与Market1501类似。出现在4个摄像机下的情况最多。

 

他们之前的一下工作在这个数据集上的测试

 

图像风格迁移（两个数据集之间）：

在一个dataset上训练，在另一个dataset上测试往往效果不好。

因此提出：Person Transfer Generative Adversarial Network (PTGAN) .

来自A数据集中被转移的人希望保持他们的身份，同时呈现与B数据集中的人物类似的风格，例如背景，照明等。

在Cycle-GAN基础上做的，但对人的身份有额外限制以确保传输的图像可用于模型训练。

前景框保证 人不会变太多。

loss function 如下

进行风格转移和身份不会变太多。

其中：L_style中，G表示从A到B和G的样式映射函数，-G表示从B到A的样式映射函数.DA和DB分别是A和B的样式鉴别器。

 

L_ID：其中G（a）代表来自图像a的被转移人物图像，并且M（a）代表人物图像a的前景蒙版。本论文使用PSPNet人物图像上的mask。

 

转移效果：

 

测试性能:

这个性能表很有意思的是，直接transfer to测试集的效果没有很好。但是训练集用trans to训练集+测试集来做训练，效果提升一倍。这说明，对于小数据集而已，query镜头和gallery镜头下的信息都必不可少！学习两个镜头下的差异非常有帮助！ 

作者主页：

一些综述类的介绍：

哈哈哈北大这老师做了一张跟我之前做的一样丑的图。

应用：

里程碑发展：

发展