介绍Focal loss和变体

Focal loss

公式：$$FL(p_t)=-(1-p_t{)}^{\gamma }log(p_t)$$
 Focal loss是为了解决one-stage目标检测中正负样本不均衡、难易样本严重失衡的问题所提出的。在原有的交叉熵loss的基础上增加了一个预测概率$p_t$和超参数$\gamma$.

Focal loss举例说明

当$\gamma$=0时，focal loss等于标准交叉熵函数。
当$\gamma$> 0时，因为$(1-p_t)$>=0,所以focal loss的损失应该是小瑀等于标准交叉熵损失。所以，我们分析的重点应该放在难、易分辨样本损失在总损失中所占的比例。
假设有两个y=1的样本，他们的分类置信度分别为0.9和0.6，取$\gamma$=2.按照公式计算可得他们的损失分别为$-(0.1{)}^{2}log(0.9)$和$-(0.4{)}^{2}log(0.6)$。
将他们的权重相除：0.16/0.01 = 16.可以得到分类置信度为0.6的样本损失大大增加，分类置信度为0.9的样本损失大大抑制，从而使得损失函数专注于这些难分辨得样本上，这也是函数得中心思想。

Focal loss的变体

Focal loss的α变体

将平衡交叉熵和Focal loss两者混合就可以得到Focal loss的α变体，如下：$$FL(p_t)=-{\alpha }_t(1-p_t{)}^{\gamma }log(p_t)$$
这个损失函数不光考虑了“容易分辨”还考虑了“正负样本”的问题。在处理类不均衡问题上，可以发挥巨大的作用。

其他论文中的变体，具体参考下面的简书：
https://www.jianshu.com/p/f305b573df8f