行人重识别 Unsupervised Person Re-identification by Soft Multilabel Learning

是无标签的重识别数据集，是监控环境下采集的无标签行人图像。是有标签的辅助重识别数据集，是有标签的行人数据，对应的标签分别为，其中是参考人员的个数。参考人员和无标签的目标人员完全不重叠。我们的目的在于学习一个软多标签函数使得,所有的维度值加起来为1。每个维度值代表对应的参考人员的可能性。同时，在重识别任务的软多标签的指导下，学习一个判决式的深度嵌入特征。特别的，我们提出使用软多标签来进行困难负样本的挖掘，比如，对于视觉上相似的图像，我们通过比较软多标签来确定它们到底是正样本还是困难负样本。为了对无标签图像和所有参考行人进行有效比较，我们引入了参考代理学习，比如，我们学习一系列的参考代理，每个参考代理代表在包含无标签行人和代理的共享联合嵌入特征中的一个参考行人。因此，我们可以通过比较和参考代理来学习的软多标签。软多标签函数就简化为。

1. 深度软多标签参考学习 Deep soft multilabel reference learning(MAR)

首先，介绍已知参考代理和与之间的参考可比性时，软多标签指导下的复杂负样本挖掘。为了方便联合嵌入学习，我们加入了一个单位标准化约束，比如，，在超球面上进行嵌入学习。在嵌入超平面上，特征对和的余弦相似度简化成了二者的内积，对于参考代理也一样。

2. 软多标签指导下的复杂负样本挖掘 Soft multilabel-guided hard negative mining

代表标签可能性的软多标签的各维数据加起来等于1，定义软标签函数为：

是的第维数据。软多标签指导下的复杂负样本挖掘关注于相似的样本，而不是不同的人，致力于利用软性多标签将相似的样本区分开来。鉴于软多标签具有相对可比性特性，我们对表示一致性进行了探索。除了视觉特征上的绝对相似性，相同人的图片也应该具有相似的相对可比较特性（比如，和其他的参考人具有平等的相似度）。作如下假设

假设1：如果一份无标签的图像对具有较高的特征相似性，称这一图像对为相似对。如果一个相似对具有很高的相似可比较特性，那么它很可能是正匹配对。否则，就很可能是复杂负样本对。

对于软多标签可比较特性的度量，基于L1距离，提出了软多标签度量

每个参考人在认为该对图像为正样本的情况下，给出各自的度量，软多标签度量在每个参考人面前累积。

根据假设一，挖掘复杂负样本需要同时考虑特征相似性和软多标签度量。我们组建了挖掘率为的软多标签指导下的复杂负样本挖掘。定义假设一中的相似对的个数为，这些是无标签数据集中个图像对中相似性最高的个。正样本集合和复杂负样本集合的划分根据以下公式：

$\begin{aligned} \mathcal{P} &=\left\{(i, j) | f\left(x_{i}\right)^{\mathrm{T}} f\left(x_{j}\right) \geq S, A\left(y_{i}, y_{j}\right) \geq T\right\} \\ \mathcal{N} &=\left\{(k, l) | f\left(x_{k}\right)^{\mathrm{T}} f\left(x_{l}\right) \geq S, A\left(y_{k}, y_{l}\right)<T\right\} \end{aligned}$

是图像对降序排序后的第个余弦相似度(内积)，是软多标签度量定义的阈值。

软多标签判决嵌入式学习：

通过寻找最小的就可以完成判决式特征嵌入。和是在训练过程中动态构建的，我们在模型训练的过程中，根据最新生成的特征嵌入，在每个batch中构建和。也就是说，我们将替换为，是一个mini-batch中无标签图像个数。

3. 跨视角一致性软多标签学习 Cross-view consistent soft multilabel learning

为了适应众多图像对都是跨视角的，因此学习算法必须具有跨视角的一致性。从分布的角度来说，已知的参考行人和无标签数据集，可比较特性的分布应该只取决于人的外部特征的分布，而且独立于相机视角。基于以上分析，提出了跨视角一致性软多标签学习损失函数：

其中，是中的软多标签分布，是第v个相机视角的软多标签分布，是两个分布之间的距离。可以使用任何的分布距离，比如KL divergence和Wasserstein距离。我们观察到软多标签的分布接近于log-normal分布，因此我们选择简化2-Wasserstein距离：

其中，是软多标签的log向量的平均值和标准差的比值，是第v个相机视角的相应比率。

4. 参考代理学习 Reference agent learning

参考代理的角色相当于代表一个在嵌入特征中独一无二的人。参考代理应该互相具有区分性，每个应该对对应的人员具有代表性。考虑到参考代理是在软多目标函数里进行比较，我们使用如下的代理损失函数：

$L_{A L}=\Sigma_{k}-\log l\left(f\left(z_{k}\right),\left\{a_{i}\right\}\right)^{\left(w_{k}\right)}=\Sigma_{k}-\log \frac{\exp \left(a_{w_{k}}^{\mathrm{T}} f\left(z_{k}\right)\right)}{\Sigma_{j} \exp \left(a_{j}^{\mathrm{T}} f\left(z_{k}\right)\right)}$

其中是辅助数据集中标签为的第k个人员图像。

通过最小化损失函数，我们不只判决式地训练了参考代理，而且赋予了具有基本辨别能力的嵌入特征，这有利于软多标签指导下的复杂负样本挖掘。同时，它强有力地强化了软多标签函数的有效性。在上式中，软多标签函数会学习分配参考人员图像，通过比较和所有的代理。是在辅助数据集里最小化，为了进一步提高无标签目标数据集软多标签的有效性，提出如下的联合嵌入学习：

参考可比性的联合嵌入学习

其中，代表第i个代理挖掘的数据, 是基于代理的边沿，其推荐值为1。是铰链函数，。拉中项加强了参考代理的代表性，以便提高表示交叉域图像对中的一个参考人员的有效性。

参考代理学习：

其中平衡了损失幅度。

5. 模型训练和测试

MAR的损失目标函数为

和是超参数，调节各部分的比重。

行人重识别 Unsupervised Person Re-identification by Soft Multilabel Learning

你可能感兴趣的:(行人重识别 Unsupervised Person Re-identification by Soft Multilabel Learning)