深度度量学习小综述

深度度量学习：对比损失[1]首次将深度神经网络引入度量学习，它只约束类内对的特征尽量近而类间对的特征尽量远，三元组损失[2]在对比损失的基础上进一步考虑了类内对与类间对之间的相对关系，首先固定一个锚点样本（anchor），希望包含该样本的类间对（anchor-negative）特征的距离能够比同样包含该样本的类间对特征的距离大一个间隔。由于三元组损失一次采样三个样本，虽然能够同时考虑类间距、类内距以及二者的相对关系，但没有充分利用每个batch内的所有样本，因此[3]提出在一个batch内建立稠密的成对（pair-wise）的连接关系，以训练一个batch中所有可能的三元组。由于对比损失和对比损失训练时每次只挖掘一个负样本，所以收敛较慢，因此[4]提出多类n元组损失（multi-class N pair loss）,要求同类样本的距离同时小于n-1组类间距离，从而实现类内对相似度显著高于类间对相似度。Circle loss[5]指出大部分现有的度量损失本质上是在最小化类内相似度与类间相似度的差值，类内相似度和类间相似度的权重始终相同，缺乏优化侧重的灵活性，因此对相似度进行加权，以加大困难样本对的权重。此外，[6][7]基于三元组采样策略,对anchor-negative连接线与positive-negative连接线之间的夹脚进行约束，也取得了较好的效果。
为了克服三元组样本对采样困难的问题，[8]借鉴了[9]的思路，希望锚点样本与同类代理点的距离尽可能近而与异类代理点的距离尽可能远，提出了用小规模的代理点来代替大规模的原始样本点的方法，将约束类内对和类间对的距离转化为约束锚点样本与异类样本对应代理点的距离。[8]将样本作为anchor，检索proxies；而[10]则相反，它将proxies看成anchor，检索batch中的正负样本。[11]证明移除偏置项，正则化输入特征以及权重w后的softmax损失函数可以视为基于代理点的损失函数，因此产生了由softmax产生的多种变体[12][13][14][15]。
参考文献：
[1] Dimensionality Reduction by Learning an Invariant Mapping
[2] FaceNet: A Unified Embedding for Face Recognition and Clustering
[3] Deep Metric Learning via Lifted Structured Feature Embedding
[4] Improved Deep Metric Learning with Multi-class N-pair Loss Objective
[5] Circle Loss: A Unified Perspective of Pair Similarity Optimization
[6] Deep Metric Learning with Angular Loss
[7] Deep Metric Learning with Tuplet Margin Loss
[8] Proxy-based Loss for Deep Metric Learning
[9] Neighbourhood Components Analysis
[10] Proxy Anchor Loss for Deep Metric Learning
[11] Making Classification Competitive for Deep Metric Learning
[12] Classification is a Strong Baseline for Deep Metric Learning
[13] Large-Margin Softmax Loss for Convolutional Neural Networks
[14] SphereFace: Deep Hypersphere Embedding for Face Recognition
[15] softTriple Loss: Deep Metric Learning Without Triplet Sampling