生成式对抗网络在行人重识别中的应用

An Introduction to Person Re-identification with Generative Adversarial Networks
论文地址

摘要

传统的Re-ID方法在解决复杂背景下的遮挡、姿态变化和特征变化时存在着一定的限制。采用基于GAN的Re-ID来解决上述问题在过去几年成了一个热门的方向，本文回顾了相关的论文。

1、引言

Re-ID的两种方法：
1）传统方法：提取姿态、视角和光线不变的手工特征，学习一个基于这些特征的相似性度量来进行重识别。
2）深度学习：使用深度学习（CNN、RNN、GAN）。

最近，一些研究人员提出使用基于UDA（unsupervised domain adaptation）的使用GAN方法，从而将源图像转到目标图像。

2、GAN 回顾

原始的GAN

Ian J. Goodfellow等人于2014年10月提出了一个通过对抗过程估计生成模型的新框架。框架中同时训练两个模型：捕获数据分布的生成模型G，和估计样本来自训练数据的概率的判别模型D。G的训练程序是将D错误的概率最大化。这个框架对应一个最大值集下限的双方对抗游戏。可以证明在任意函数G和D的空间中，存在唯一的解决方案，使得G重现训练数据分布，而D=0.5。在G和D由多层感知器定义的情况下，整个系统可以用反向传播进行训练。在训练或生成样本期间，不需要任何马尔科夫链或展开的近似推理网络。实验通过对生成的样品的定性和定量评估证明了本框架的潜力。

GAN通过生成模型G和判别模型D的互相博弈学习产生输出。原始 GAN 理论中，并不要求 G 和 D 都是神经网络，只需要是能拟合相应生成和判别的函数即可。但实用中一般均使用深度神经网络作为 G 和 D 。

2.1、条件GAN（C-GAN）

这项工作提出了一种带条件约束的GAN，在生成模型D和判别模型G的建模中均引入条件变量y，使用额外信息y对模型增加条件，可以指导数据生成过程。将类标签作为条件信息和噪声一起放入G后生成样本。将类标签和生成样本或者训练样本放入D，D的输出是输出样本为真假的概率或者0，1二值。

2.2、带有辅助分类器的GAN（AC-GAN）

在AC-GAN 中，每个生成样本 除了噪声z外有一个对应的类别标签 c~Pc,。G 使用两者来生成伪图像 X (fake)=G(c，z)。判别器给出给出图像源（真假）的概率分布和类标签上的概率分布。

2.3、带有编码器的GAN

2.4、带有自编码的GAN

联合训练VAE和GAN

3、基于GAN的Re-ID

3.1、Person Re-identification with Pose Normalization (PN-GAN)

姿态是造成行人外观改变的一个重要的原因，本文提出了PN-GAN模型来缓解姿态对行人重识别的影响。给定一个行人图像，该模型利用一个目标姿势来产生一个具有相同ID的合成图像，初始姿势替换为目标姿势。接下来，利用姿态归一化的合成图像和原始图像对Re-ID模型进行训练，生成两组特征。最后，融合这两组不同的特征得到最终的描述子。
在实验中，作者使用预训练过的VGG-19提取特征，采用K均值算法将训练姿态图像聚类为典型姿态。然后将这些聚类的平均姿势图像用作标准姿势在Market-1501数据集上获得了8个标准的姿态。
生成图像的质量相当的一般，导致对Re-ID模型引入了一定的噪声。

3.2、Person Re-identification with Feature Distilling GAN(FD-GAN)

The authors proposed a Feature Distilling Generative Adversarial Network (FD-GAN) to learn identity-related and pose-unrelated representations.

作者提出了一种提取生成对抗网络（FD-GAN）特征的方法来学习与身份相关但是与姿态不相关的特征。该方法依赖于带有多个判别器来判别human身份和姿态的孪生网络。