Self-similarity Grouping : Person Re-identification 论文笔记

作者：Yang Fu, Yunchao Wei, Guanshuo Wang, Yuqian Zhou，Honghui Shi, Thomas S. Huang
原文： link. In ICCV2019.
code： link.

Motivation

Person Re-ID旨在匹配不同相机拍摄的同一行人图片，目前单域的Re-ID的精度已经刷的很高，但是将在源域训练的模型迁移到目标域测试时，模型性能显著下降，这是由于数据集之间的域差异。无监督域适应（UDA）就被提出来解决域差异问题。然而传统的UDA总是假设源数据集和目标数据集具有相同的类，这在Prson Re-ID中是不成立的，因为不同的数据集包含不同的行人（类）。目前已有许多用于Person Re-ID的UDA方法，例如通过GAN网络将源域图像迁移到目标，同时保留源域的标签信息；除此之外，不同相机的设置也是影响性能的重要因素，HHL被提出来解决由相机引起的域差异。但是当前的大部分工作主要关注增加训练样本或者比较源域和目标域的相似性和差异性，同时忽略了来自目标域样本中存在的相似的自然特征。
为了解决上述问题和发现目标数据集的行人图片的相似性，作者提出名为自相似性分组（SSG）方法，从全局到局部方式来挖掘无标注样本的潜在相似性以从不同视点自动建立多聚类，然后将这些独立的聚类贴上标签，作为伪标签来监督训练过程。反复和交替这样的分组、训练过程，直到模型收敛。在SGG之上，进一步提出一个基于聚类指导的半监督方法。

Contributions

1. 提出一个简单但高效的用于person Re-ID的UDA方法，名为Self-similarity Grouping（SSG）；
2. 介绍一个相似性指导的半监督训练策略并整合到UDA框架中，这可以联合无监督训练和半监督分支训练，高效地提高域适应过程；
3. 大量的实验和消融学习实验验证了SGG和半监督方法的有效性。

Problem Definition

给定有标签源数据集{X_s,Y_s}，其包含N_s个行人图像，每一个行人x_sⁱ对应一个身份y_sⁱ, y_sⁱ∈{1,2,…,P_s}, P_s是源域的身份数，目标数据集{X_t}包含N_t个行人图像,目标域图像 x_t没有标签。UDA person Re-ID的目标是通过源域的监督信息来学习目标域良好的判别信息。

Method

下图展示了SSG方法，我们提取目标数据集中所有人的特征，并根据通过三个线索（全身、上半部分、下半部分）将他们分为三类，然后获得三个分组的集合。通过为每个组分配一个伪标签，我们可以将每个人与不同的伪标签配对。最后建立一个有伪标签新数据集，由于具有相同伪标签的个体应该有很多相似之处，通过在已建立的数据集上对预训练模型进行fine-tuning来挖掘信息。

在SSG之上，进一步提出一个基于聚类指导的半监督方法。传统的one-shot学习是基于每个类别中只有一个样本被标记的设置。这里提出的半监督方法是先从每个聚类块中采样一张图像（这样避免选择了相同的身份却作为了两个不同的类），这样就可以利用传统的one-shot学习方法。

baseline

本文采用在源域上训练过的模型作为baseline。首先使用在ImageNet上预训练过的ResNet50作为backbone网络，删除最后一个FC层，再添加俩个新FC层，第一个FC输出2048-dim,命名为FC-2048；第二个输出P_s-dim，P_s是源数据集的身份数，命名为FC-#ID。
将交叉熵损失应用于FC-#D,将训练过程视为分类问题：

y_i,a是样本{a,i}的ground truth, C是身份的数量。
将hard-batch triplet 损失应用于FC-2048,将训练过程视为验证问题：


最后将交叉熵损失和triplet损失结合得到baseline的损失：

将带标签的源域图片喂入到网络得到训练好的模型作为baseline。这一步是完全监督训练。

Unsupervised Self-similarity Grouping

SSG的框架如上图所示。首先将目标数据集的无标签图片x_tⁱ喂入baseline,提取特征F_tⁱ∈R^H×W×C（蓝色部分），然后将F_tⁱ水平分为两部分，upper body：F_{t_up}ⁱ∈R^H/2×W/2×C；lower body：F_{t_low}ⁱ∈R^H/2×W/2×C。接着将三个特征通过GAP获得三个特征向量f_tⁱ,f_{t_up}ⁱ,f_{t_low}ⁱ，在每一张目标集图像上重复上述过程得到三个特征向量集合：

在三个特征向量集合上使用无监督聚类算法（DBSCAN），可以获得一系列分组，使得每个人的图像都可以根据所属的组分配一个伪标签，称为self-label。因此可以每张图片x_tⁱ可以获得三个self-label：y_tⁱ,y_{t_up}ⁱ,y_{t_low}ⁱ，因此建立一个每张图片具有三个self-label的新数据集：

我们也在特征向量f_tⁱ之后应用一个FC层获得一个2048-dim的全局embedding向量f_{t_e}ⁱ，与f_tⁱ具有相同的label。
最后，利用self-label作为监督信息使用triplet损失来为域适应fine-tuning训练过的模型。

测试阶段，连接f_tⁱ,f_{t_up}ⁱ,f_{t_low}ⁱ作为每个图像x_tⁱ的最终表示。

Clustering-guided Semi-Supervised Training

利用无监督聚类算法在特征f_t上产生N_g个分组，然后从每个分组中采样一张图像来生成一个具有N_g张图像的子数据集X_g；然后手工标记这个子数据集并基于注释分配标签，提取特征，获得三个向量集f_g,f_{g_up},f_{g_low}（过程同Self-similarity Grouping）。
给定无标签图像x_tⁱ,在X_g通过三个线索获得最相似的图片，并为x_tⁱ分配相应的标签：y_tgⁱ,y_{tg_up}ⁱ,y_{tg_low}ⁱ


基于聚类的半监督训练损失表示为：

进一步，联合无监督和半监督进行end-to-end训练，联合损失表示为：

Experiments

参数设置

1. Baseline训练
   Input image size =256 * 128；随机裁剪、翻转、擦除作为数据增强方法；对于triplet,随机选择P=16身份，为训练集中每个身份采集K=8个图片，即batch size =128，margin = 0.5；采用Adam优化器，weight decay=0.0005，训练150个epoch,初始化学习率为3* 10^-4，100个epoch后下降到3* 10^-5。
2. 无监督和半监督训练
   对于无监督和半监督分支的训练，数据增强和triplet的设置同baseline；初始化学习率为6* 10^-5，训练70个epoch；为公平起见，在每个聚类中随机选择一个图片来用于所有消融学习。

Effectiveness of Self-similarity Grouping

Effectiveness of clustering-guided annotation

SSG^*表示在整个目标域随机采样图片，与随机在目标域采样图像相比，聚类指导注释会增加样本集的身份多样性，并在有限监督信息下，增强学习特征表示的能力。

与SOTA对比