arcface的前世今生

1.简介

1.1发表

ArcFace/InsightFace（弧度）是伦敦帝国理工学院邓建康等在2018.01发表，在SphereFace基础上改进了对特征向量归一化和加性角度间隔，提高了类间可分性同时加强类内紧度和类间差异。
论文链接：ArcFace: Additive Angular Margin Loss for Deep Face Recognition

1.2优点

• ArcFace loss：Additive Angular Margin Loss（加性角度间隔损失函数），对特征向量和权重归一化，对θ加上角度间隔m，角度间隔比余弦间隔在对角度的影响更加直接。几何上有恒定的线性角度margen。
• ArcFace中是直接在角度空间θ中最大化分类界限，而CosFace是在余弦空间cos(θ)中最大化分类界限。

1.3性能

LFW上99.83%，YTF上98.02%

2.arcface的前世今生

作为基于 softmax 改进的损失函数，arcface loss 的出现不是一簇而就的，在 arcface loss 之前有大量的前人的工作：

center loss，L-softmax loss，A-softmax loss，CosFace loss 等

2.1 softmax

公式：
$$L_1=-\frac{1}{N}\sum _{i=1}^{N}log\frac{e^{W_{y_i}^T{x}_i+b_{y_i}}}{{\sum }_{j=1}^N{W}_{y_i}^T{x}_i+b_{y_i}}$$

2.2center loss

论文：[ECCV 2016] A Discriminative Feature Learning Approach for Deep Face Recognition

ECCV 2016的这篇文章主要是提出了一个新的Loss：Center Loss，用以辅助Softmax Loss进行人脸的训练，主要目的是利用softmax loss来分开不同类别，利用center loss来压缩同一类别，最终获取discriminative features。

其原理是增加惩罚项，约束每一类向中心聚集

公式：
$$L_1=-\frac{1}{N}\sum _{i=1}^{N}log\frac{e^{W_{y_i}^T{x}_i+b_{y_i}}}{{\sum }_{j=1}^N{W}_{y_i}^T{x}_i+b_{y_i}}+\frac{\lambda }{2}\sum _{i=1}^N\mid \mid x_i-c{y}_i\mid {\mid }^2$$

其中：$y_i$ 代表第 i 类的中心。$y_i$的求解过程相对复杂。
在训练的初始，$y_i$由Xavier初始化，即刚开始并不指向类中心，然后每个iterator更新一次$y_i$。
其更新方式类似于反向传播。

通过对$x_i-c{y}_i$求导，得到下述表达式：
$$\Delta c{y}_i=\frac{{\sum }_{i=1}^N\delta (y_{i=j})(c_j-x_i)}{1+{\sum }_{i=1}^N\delta (y_{i=j})}$$
按导数值$\Delta c{y}_i$随着训练逐渐逼近类中心点。

• 贡献：
  能够更好的区分细节，即当两个输入样本十分相似时，能够对细节更好的建模。
  在一定程度上提升了类间距，缩小类内距。提出了 softmax 的类间距较小的问题，开启优化softmax的先河
• 缺点：
  训练不稳定，收敛慢，容易过拟合。

center loss 和 softmax 的对比：

2.2 L-softmax

决策边界的概念

论文：Large-Margin Softmax Loss for Convolutional Neural Networks

假设只有两个类的情况下(方便分析，推广到多类别同样适用)

softmax：
$$L_1=-\frac{1}{N}\sum _{i=1}^{N}log\frac{e^{W_{y_i}^T{x}_i+b_{y_i}}}{{\sum }_{j=1}^N{W}_{y_i}^T{x}_i+b_{y_i}}$$
由 softmax 的公式可知，当类别为二的时候，分类为1和2的概率p分别为$p_1=e^{W_1^{T}x+b_1}$ 和 $p_2=e^{W_2^{T}x+b_2}$，当p1 > p2 的时候判断为类1， 当p1 < p2时判断为类2 。因此判断边界为$p_1==p_2$， 即$W_1^{T}x+b_1=W_2^{T}x+b_2$。因此其决策边界依赖于 W 和 b 两个矩阵。

L-softmax 引入参数W的归一化，并将偏置 b置为零。决策边界$W_1^{T}x+b_1=W_2^{T}x+b_2$变为$\Vert x\Vert cos({\theta }_1)=\Vert x\Vert cos({\theta }_2)$ ，softmax的边界$\Vert W_1^T\Vert \Vert x\Vert cos({\theta }_1)=\Vert W_2^T\Vert \Vert x\Vert cos({\theta }_2)$既依赖于权重向量的大小，又依赖于角度的余弦值，从而导致余弦空间中的决策区域重叠(重叠就是margin < 0)。因此，L-softmax仅以角度(angular) 作为决策边界优于原softmax依赖于 W 和 $\theta$判断边界。
注：$\theta$代表$W$和$x$的夹角

L-softmax：
$$L_1=-\frac{1}{N}\sum _{i=1}^{N}log\frac{e^{\Vert x_i\Vert cos(m{\theta }_{y_{i,i}})}}{e^{\Vert x_i\Vert cos(m{\theta }_{y_{i,i}})}+{\sum }_{i\ne j}^{}{e}^{\Vert x_i\Vert cos({\theta }_{i,j})}}$$
引入$cos(m{\theta }_{y_{i,i}})$ 参数m作为角边距来调参控制训练的类间距。

• 贡献：
  用夹角$\theta$来控制决策边界，引入角边距m。优化了扩大类间距的算法。

注：论文中并没有归一化W矩阵，这里是为了简化计算。真正开始归一化矩阵W的是下一节的A-softmax。

L-softmax 和 softmax：

左边第一个是softmax，右边三个是取m不同的L-softmax。

2.3A-softmax

在L-softmax loss (large margin softmax loss)的基础上再添加限制条件||W||=1（权重归一化）和b=0就会使得预测仅取决于W和x之间的角度θ，这样便得到了angular softmax loss，简称A-softmax loss。上述L-softmax中，为了简化推理，已经使用了||W||=1（权重归一化）和b=0的假设。实际上，原论文并没有这样做。
原L-softmax的公式：
$$L_1=-\frac{1}{N}\sum _{i=1}^{N}log\frac{e^{\Vert W_i\Vert \Vert x_i\Vert cos(m{\theta }_{y_{i,i}})+b_i}}{e^{\Vert W_i\Vert \Vert x_i\Vert cos(m{\theta }_{y_{i,i}})+b_i}+{\sum }_{i\ne j}^{}{e}^{\Vert W_i\Vert \Vert x_i\Vert cos({\theta }_{i,j})+b_i}}$$
A-softmax的公式(添加W归一化，b=0 的L-softmax)：
$$L_1=-\frac{1}{N}\sum _{i=1}^{N}log\frac{e^{\Vert x_i\Vert cos(m{\theta }_{y_{i,i}})}}{e^{\Vert x_i\Vert cos(m{\theta }_{y_{i,i}})}+{\sum }_{i\ne j}^{}{e}^{\Vert x_i\Vert cos({\theta }_{i,j})}}$$

2.4Cosface

• A-softmax的缺点：
  由决策边界：$\Vert x\Vert cos(m{\theta }_1)=\Vert x\Vert cos({\theta }_2)$ 可知， 当$\Vert x\Vert cos(m{\theta }_1)>\Vert x\Vert cos({\theta }_2)$时，x被分类到类1。
  A-Softmax的margin在所有θ值上都不一致：当θ减小时， margin变小，当θ= 0时，margin完全消失。
  
  softmax在类c1、c2的区分上有重叠；NLS（即W归一化）c1、c2之间没有重叠也没有距离margin；A-softmax c1、c2之间有margin但随着角度$\theta$减小到0；LMCL(CosFace) c1、c2之间有清晰的边界。
  A-softmax容易导致两个潜在的问题：
• 首先，对于视觉上相似因此在W1和W2之间具有较小角度的困难类别C1和C2，margin很小。
• 其次，从技术上讲，必须采用额外的技巧用ad-hoc piecewise function来克服计算余弦相似度时的非单调性困难($cos\theta$递增区间和递减区间)。

因此，cosface loss改进了A-sofamax，W权重L2归一化，x输入向量归一化到一个固定值s，让cos(θ)加上m。对cosface来说，s需要足够大。
公式：
$$\begin{gathered} cos(m\theta )\Rightarrow cos(\theta )+m \\ x=s\cdot \frac{x^{\ast }}{\Vert x_{\ast }\Vert } \\ \Rightarrow \Vert x\Vert =s \end{gathered}$$
推导出新的损失函数
$$L_1=-\frac{1}{N}\sum _{i=1}^{N}log\frac{e^{s(cos({\theta }_{y_{i,i}})-m)}}{e^{s(cos({\theta }_{y_{i,i}})-m)}+{\sum }_{i\ne j}^{}{e}^{\Vert x_i\Vert cos({\theta }_{i,j})}}$$
决策边界$cos({\theta }_1)-m=cos({\theta }_2)$，距离margin由m调节。

• 贡献：
  引入数据x的归一化，优化$\theta$的边界问题。

2.5 arcface

在$x$和$W_i$之间的θ上加上角度间隔m（注意是加在了角θ上），以加法的方式惩罚深度特征与其相应权重之间的角度，从而同时增强了类内紧度和类间差异。

比如训练时降到某一固定损失值时，有Margin和无Margin的e指数项是相等的，则有Margin的${\theta }_i$就需要相对的减少了。这样来看有 Margin的训练就会把 i 类别的输入特征和权重间的夹角${\theta }_i$缩小了，从一些角度的示图中可以看出，Margin把${\theta }_i$挤得更类内聚合了，${\theta }_i$和其他$\theta$类间也就更分离了。

公式：
$$L_1=-\frac{1}{N}\sum _{i=1}^{N}log\frac{e^{s(cos({\theta }_{y_{i,i}}+m))}}{e^{s(cos({\theta }_{y_{i,i}}+m))}+{\sum }_{i\ne j}^{}{e}^{\Vert x_i\Vert cos({\theta }_{i,j})}}$$
决策边界：
$$cos({\theta }_1+m)=cos({\theta }_2)$$
决策边界：
ArcFace：Additive Angular Margin，加法角度间隔
SphereFace(A-softmax)：Multiplicative Angular Margin，乘法角度间隔
CosFace：Additive Cosine margin，加法余弦间隔

3.参考

论文

• center softmaxA Discriminative Feature Learning Approach for Deep Face Recognition
• L-softmax Large-Margin Softmax Loss for Convolutional Neural Networks
• A-softmaxDeep Hypersphere Embedding for Face Recognition
• CosfaceLarge Margin Cosine Loss for Deep Face Recognition
• ArcfaceAdditive Angular Margin Loss for Deep Face Recognition

博客

• center softmax人脸识别论文再回顾之一：Center Loss
• L-softmax 深度学习–Large Marge Softmax Loss损失
• A-softmax深度学习—A-softmax原理+代码
• Cosface人脸识别合集 | 9 CosFace解析
• Arcface人脸识别合集 | 10 ArcFace解析