论文笔记 | Hardness-Aware Deep Metric Learning

出处：CVPR 2019
论文：https://arxiv.org/abs/1903.05503
代码：https://github.com/wzzheng/HDML

摘要：
本文介绍了一种Hardness-Aware Deep Metric Learning（HDML）框架。 大多数先前的度量学习方法采用困难负样本挖掘策略来减轻缺乏信息的训练样本。 然而，该挖掘策略仅利用训练数据的子集，这可能不足以全面地表征嵌入空间的全局几何。 为了解决这个问题，我们对嵌入进行线性插值，以自适应地操纵它们的困难水平，并为再循环训练生成相应的标签，从而可以充分利用所有样本中隐藏的信息，并且总是在适当的难度下训练度量。 我们的方法在广泛使用的CUB-200-2011，Cars196和斯坦福在线产品数据集上实现了极具竞争力的性能。

1 概述

深度度量学习方法旨在学习有效度量，以准确地衡量数据点之间的相似性。 他们利用深度神经网络构建从数据空间到嵌入空间的映射，使嵌入空间中的欧几里德距离能够反映数据点之间的实际语义距离，即类间样本之间的距离相对较大，而类内样本之间的距离相对较小。 最近已经提出了各种深度量度学习方法，并且已经证明在各种任务中具有很强的有效性，例如图像检索，人员重新识别和地理位置定位。

在本文中，我们提出了一种 HDML 框架作为解决方案。我们统一对训练集中的所有数据点进行采样，同时充分利用每个点中包含的信息。我们提议合成困难样本作为原始样本的补充，而不是仅使用原始样本进行训练。此外，我们根据模型的训练状态控制合成样品的难度水平，以便困难样本训练出更具稳健的模型。我们采用自适应线性插值方法来有效地操纵嵌入的困难水平。获得增强嵌入后，我们利用同时训练的发生器将它们映射回特征空间，同时保留标签和增强硬度。这些合成数据包含的信息比原始信息更多，可用作再循环训练的补充，如图1所示。我们提供消融研究，以证明HDML每个模块的有效性。

2 相关工作

Metric Learning:
Hard Negative Mining:

3 方法

3.1 Problem Formulation

x 代表 data space，y 代表 feature space， z 代表 embedding space

$$f:x\to yg:y\to zh:x\to z$$

3.2 Hardness-Aware Augmentation

本文采用的自适应难度增强的方法，在嵌入空间中修改和构造困难元组，其中样本之间距离的操纵将直接改变元组的难易程度。 与负样本之间距离的减小将导致难度的上升，反之亦然。

z 为 anchor ，z- 为 negative ， 通过线性插值构造增强难度的负样本：

如果样本太近，回导致有着同样的标签了，所以对系数重新定一个范围

d+代表正样本直接的距离或者给定的一个距离，d(z,z-)代表 anchor 和 negative 之间的距离，为进一步引入 (0,1)的变量，可将上面的系数调整为如下：

3.3 Hardness-and-Label-Preserving Synthesis

由于不能保证由(7)线性插值生成的困难样本与负样本有同样的标签，对此提出了一种难度和标签保留的特征合成方法。
需要训练一个生成器$$i:z\to y$$

然后使用编码器去实现 g ，i 的映射。g 是将 feature space中的 y 映射到 embedding space 中的 z，而在embedding space 中首先将 z 利用难度增强修订为 z^ , 生成器 i 的作用是 将 z 和 z^ 重新映射到 feature space 中为 y’ ，y~ 。同时y~应该保留原来样本的标签以及难度 ，所以我们需要制定的生成器目标为如下公式：

3.4 Hardness-Aware Deep Metric Learning

最终的目标是需要训练网络使得损失值在原始的tuple和合成的tuple中达到最小：

最终的损失函数可表示为下图：

Jm目的是在嵌入空间中学习使得类间距离更大，类内距离更小。Jsyn利用合成的困难样本是的度量学习更加高效。 对于JT可以选择 triplet loss 或者 N-pair loss