MSML度量损失的Re-id算法

1、基于损失函数的Re-Id算法

Re-Id算法按损失函数划分有：表示学习（Representation learning）和度量学习（metric learning）两大类，表示学习将Re-id问题转为为分类问题，常见是用softmax分类函数以及它的变式（A-softmax;AM-softmax;arc-softmax）为代表，这些也是人脸验证和识别常用的损失函数，是将提取的特征，在特征分布空间中以明确的决策边界将不同的类进行划分达到识别身份的效果。而我们本文介绍的度量学习是通过度量函数让正样本对距离尽可能的小，而负样本对距离尽可能的大，在特征分布空间中以聚类的形式呈现，没有明确的决策边界表示。代表有(contrastive loss;triplet loss;quadruplet loss; trip-hard loss;MSML)

基于表示学习的二分类特征分布：

基于度量学习的triplet loss特征分布：

2、Re-id 度量学习算法

由于度量学习算法让网络对大部分样本对学习都比较容易，需要硬样本来提高网络的性能，因此大部分的研究都旨在如何设计损失函数来挖掘硬样本让网络学习。MSML(Margin Sample Mining Loss:)就是通过挖掘硬样本来提高网络性能，具体如何挖掘以及它和其他度量学校算法的比较如下：

2.1 Triplet loss（三元组损失）

  公式：

这里的$(z{)}_{+}=max(z,0)$A和$A^{{}^{\prime }}$是正样本对，而A和B是负样本对，$\alpha$是正样本对与负样本对的，距离差最小的margin设置，小于这个margin设置就会有损失产生。

不足：三元组损失对是每个正对和负对共享一张相同的探针图像（只能关注了正负对之间的相对距离）这种图像对顺序定义要求，让网络缺少泛化能力，难于应用于检测任务。

2.2 Quadruplet loss（四元组损失）

公式：

四元组损失是在三元组损失函数的基础上，又添加了一项计算绝对距离损失，来弥补三元组损失只能计算相对距离损失能力，它主要是添加另一张不同身份探针图像C，让正样本图像对(A,$A^{{}^{\prime }})$与负样本(C,B)对，没有共享相同探针图像。$\beta$比$\alpha$要小目的是让相对距离损失占据主要的地位。

**不足：**在数量集增大，会让四元组数量也快速增加，大多数的样本学校也相对容易，导致许多珍贵硬样本被积压（这个意思是说硬样本被错误的预测，没有真正的学习到）。限制了模型的性能。

2.3 triplet loss with hard sample(三元组硬样本损失)

公式：

为了学习到硬样本应有的重要特征，在每个批次中，包含不同的标识，每个标识具有相同的数量的样本，（4）会选择批次中相同标识的最不相似的样本和不同标识的最相似的样本。通过过滤样本学习，来提高模型的鲁棒性。

2.4 Margin sample mining loss(MSML)

公式：

公式中$C和B可以与A是相同身份，也可以是与A是不同身份$与 2.3节不同地方是不仅考虑包含相同探针样品的正负对之间的相对距离，而且考虑来自不同探针样品的正负对之间的绝对距离。其次，它继承了硬样本挖掘和其他方法的优势。并且我们将其扩展到边缘挖掘，从而带来更好的性能。可以与其他方法结合使用。

蓝色是最不相似的正样本距离而红色是最相似的负样本距离，上面数字表示它们嵌入特征的距离。在TriHard中负对的距离可能小于正对距离，（这是由于trihard没有关注绝对距离损失的结果，而MSML不存在这个情况。）——我觉得作者是看了四元组损失与三元组损失的对比，再应用在三元组硬样本损失上所得到的方法。

3、MSML 实验

使用了基准网络包括Resnet50；Inception-v2；Resnet50-X,
Cls表示标准表示学习算法.具体实现请参考论文原文。