各种 loss 学习笔记

之间已经介绍过几个比较经典的 loss function 啦，这里再补充三个最近看到的 loss function。

Large Margin Cosine Loss

这个 loss function 的提出，基本思想是将损失函数的计算从距离空间转换到角度空间。
欧几里得空间 (距离空间) $\to$ 余弦空间 (角度空间)

首先复习一下 softmax loss：
$$L_s=\frac{1}{N}\sum _{i=1}^N-\log p_i=\frac{1}{N}\sum _{i=1}^N-\log \frac{e^{f_{y_i}}}{{\sum }_{j=1}^C{e}^{f_j}}$$

• N：训练样本数；
• $p_i$ 是 $x_i$ 被正确分类的后验概率；
• $C$ 是类别数目；
• $f_j$ 表示全连接层的激活公式，有 $f_j=W_j^{T}x=\Vert W_j\Vert \Vert x\Vert \cos {\theta }_j$ 。（令偏重 $B_j=0$）

为了消除径向方向的影响，令 $\Vert W_j\Vert =1$ ，$\Vert x\Vert =s$ 。

为了充分提高损失函数的分类能力，引入余弦余量 $m$，得到 Large Margin Cosine Loss (LMCL) 定义如下：
$$L_{lmc}=\frac{1}{N}\sum _i-\log \frac{e^{s\left(\cos \left({\theta }_{y_i,i}\right)-m\right)}}{e^{s\left(\cos \left({\theta }_{y_i,i}\right)-m\right)}+{\sum }_{j̸=y_i}{e}^{s\cos \left({\theta }_{j,i}\right)}}$$
其中，
$$\begin{array}{rl}W& =\frac{W^{\ast }}{\Vert W^{\ast }\Vert }\\ x& =\frac{x^{\ast }}{\Vert x^{\ast }\Vert }\\ \cos \left({\theta }_j,i\right)& =W_j^T{x}_i\end{array}$$
以二分类问题为例，比较 Softmax loss，Normalized softmax loss (NSL)，A-Softmax loss，LMCL四种损失函数的决策边界：

1. Softmax：$\Vert W_1\Vert \cos \left({\theta }_1\right)=\Vert W_2\Vert \cos \left({\theta }_2\right)$
2. NSL：$\cos \left({\theta }_1\right)=\cos \left({\theta }_2\right)$
3. A-Softmax：$\begin{array}{rl}{C}_1& :\cos \left(m{\theta }_1\right)\ge \cos \left({\theta }_2\right)\\ C_2& :\cos \left(m{\theta }_2\right)\ge \cos \left({\theta }_1\right)\end{array}$
4. LMCL：$\begin{array}{l}{C}_1:\cos \left({\theta }_1\right)\ge \cos \left({\theta }_2\right)+m\\ C_2:\cos \left({\theta }_2\right)\ge \cos \left({\theta }_1\right)+m\end{array}$

参考论文链接：https://arxiv.org/abs/1801.09414

Additive Angular Margin Loss

ArcFace 和 CosFace 的基本思想差不多，只不过在添加余弦余量 $m$ 的方式上略有不同，ArcFace 的loss function 为：
$$L_{Arc}=-\frac{1}{N}\sum _{i=1}^N\log \frac{e^{s\left(\cos \left({\theta }_{y_i}+m\right)\right)}}{e^{s\left(\cos \left({\theta }_{y_i}+m\right)\right)}+{\sum }_{j=1,j̸=y_i}^n{e}^{s\cos {\theta }_j}}$$

通过一个联合的式子来概括SphereFace（$m_1$），ArcFace（$m_2$），CosFace（$m_3$）：
$$L_{uni}=-\frac{1}{N}\sum _{i=1}^N\log \frac{e^{s\left(\cos \left(m_1{\theta }_{y_i}+m_2\right)-m_3\right)}}{e^{s\left(\cos \left(m_1{\theta }_{y_i}+m_2\right)-m_3\right)}+{\sum }_{j=1,j̸=y_i}^n{e}^{s\cos {\theta }_j}}$$
几何上的差异可以直观地表示为：

参考论文链接：https://arxiv.org/abs/1801.07698v1

Adaptive Cosine-based Loss

之前讲的 LMCL 有两个关键的超参数 $s$ 和 $m$ ，是需要手动进行调参的，而 Adaptive Cosine-based Loss 则是增加了自适应调整这两个参数的部分。
分析：$s$ 要大一点好，但不能太大；同样，$m$ 也是大点好，但不能太大。与尺度参数 $s$ 相比，余弦余量 $m$ 仅使曲线同相移动，因此 AdaCos 将 $m$ 从损失函数中消除，只自动调整 $s$。
最后得到的固定尺度参数 ${\tilde{s}}_f$ 和动态自适应尺度参数 ${\tilde{s}}_d^{(t)}$ 为：
$$\begin{array}{rl}{\tilde{s}}_f=\frac{\log B_i}{\cos \frac{\pi }{4}}& =\frac{\log {\sum }_{k̸=y_i}{e}^{s\cdot \cos {\theta }_{i,k}}}{\cos \frac{\pi }{4}}\\ & \approx \sqrt{2}\cdot \log (C-1)\end{array}$$
$${\tilde{s}}_d^{(t)}=\{\begin{array}{ll}\sqrt{2}\cdot \log (C-1)& t=0\\ \frac{\log B_{\text{ avg }}^{(t)}}{\cos \left(\min \left(\frac{\pi }{4},{\theta }_{\text{ med }}^{(t)}\right)\right)}& t\ge 1\end{array}$$
其中，$B_{\mathrm{a}\mathrm{v}\mathrm{g}}^{(t)}=\frac{1}{N}{\sum }_{i\in {\mathcal{N}}^{(t)}}{B}_i^{(t)}=\frac{1}{N}{\sum }_{i\in {\mathcal{N}}^{(t)}}{\sum }_{k̸=y_i}{e}^{{\tilde{s}}_d^{(t-1)}\cdot \cos {\theta }_{i,k}}$
每次一迭代中，动态自适应尺度参数 ${\tilde{s}}_d^{(t)}$ 对分类概率 $P_{i,j}^{(t)}$ 的影响都不相同，并且有效地影响了更新网络参数的梯度信息 $(\frac{\partial \mathcal{L}\left(x_i\right)}{\partial x_i},\frac{\partial \mathcal{L}\left(W_j\right)}{\partial W_j})$ ：
$$P_{i,j}^{(t)}=\frac{e^{{\tilde{s}}_d^{(t)}\cdot \cos {\theta }_{i,j}}}{{\sum }_{k=1}^C{e}^{{\tilde{s}}_d^{(t)}\cdot \cos {\theta }_{i,k}}}$$
$$\begin{array}{l}\frac{\partial \mathcal{L}\left(x_i\right)}{\partial x_i}={\sum }_{j=1}^C\left(P_{i,j}^{(t)}-1\left(y_i=j\right)\right)\cdot {\tilde{s}}_d^{(t)}\frac{\partial \cos {\theta }_{i,j}}{\partial x_i}\\ \frac{\partial \mathcal{L}\left(W_j\right)}{\partial W_j}=\left(P_{i,j}^{(t)}-1\left(y_i=j\right)\right)\cdot {\tilde{s}}_d^{(t)}\frac{\partial \cos {\theta }_{i,j}}{\partial W_j}\end{array}$$

参考论文链接：https://arxiv.org/abs/1905.00292