RetinaNet——Focal Loss 解决"类别不平衡" (目标检测)(one-stage)(深度学习)(ICCV 2017)

论文名称：《 Focal Loss for Dense Object Detection 》

论文下载：https://arxiv.org/pdf/1708.02002.pdf

论文代码：https://github.com/facebookresearch/Detectron/tree/master/configs/12_2017_baselines

---

1、概述：

RetinaNet本质上不是一个新的网络结构，而是一种新的应对正负样本严重不平衡的方法。

RetinaNet作者提出一种新的损失函数：focal foss，这个损失函数是在标准交叉熵损失基础上修改得到的。这个函数可以通过减少易分类样本的权重，使得模型在训练时更专注于稀疏的难分类的样本；防止大量易分类负样本在训练中压垮检测器。为了证明focal loss的有效性，作者设计了一个dense detector：RetinaNet，并且在训练时采用focal loss训练。实验证明RetinaNet不仅可以达到one-stage detector的速度，也能超过现有two-stage detector的准确率。

object detection的算法主要可以分为两大类：two-stage detector和one-stage detector。前者是指类似Faster RCNN，RFCN这样需要region proposal的检测算法，这类算法可以达到很高的准确率，但是速度较慢。虽然可以通过减少proposal的数量或降低输入图像的分辨率等方式达到提速，但是速度并没有质的提升。后者是指类似YOLO，SSD这样不需要region proposal，直接回归的检测算法，这类算法速度很快，但是准确率不如前者。作者提出focal loss的出发点也是希望one-stage detector可以达到two-stage detector的准确率，同时不影响原有的速度。

作者认为one-stage detector的准确率不如two-stage detector的原因是：样本的类别不均衡导致的。我们知道在object detection领域，一张图像可能生成成千上万的candidate locations，但是其中只有很少一部分是包含object的，这就带来了类别不均衡。那么类别不均衡会带来什么后果呢？引用原文讲的两个后果：(1) training is inefficient as most locations are easy negatives that contribute no useful learning signal; (2) en masse, the easy negatives can overwhelm training and lead to degenerate models. 什么意思呢？负样本数量太大，占总的loss的大部分，而且多是容易分类的，因此使得模型的优化方向并不是我们所希望的那样。其实先前也有一些算法来处理类别不均衡的问题，比如OHEM（online hard example mining），OHEM的主要思想可以用原文的一句话概括：In OHEM each example is scored by its loss, non-maximum suppression (nms) is then applied, and a minibatch is constructed with the highest-loss examples。OHEM算法虽然增加了错分类样本的权重，但是OHEM算法忽略了容易分类的样本。

因此针对类别不均衡问题，作者提出一种新的损失函数：focal loss，这个损失函数是在标准交叉熵损失基础上修改得到的。这个函数可以通过减少易分类样本的权重，使得模型在训练时更专注于难分类的样本。为了证明focal loss的有效性，作者设计了一个dense detector：RetinaNet，并且在训练时采用focal loss训练。实验证明RetinaNet不仅可以达到one-stage detector的速度，也能有two-stage detector的准确率。

二. 算法精髓focal loss：

1.Cross Entropy

对于二分类来说：标准的交叉熵损失：

这里规定二分类 y 的值是正1或负1，p 是模型估计样本类别y=1的概率，取值范围为0到1。当真实label是1，也就是y=1时，假如某个样本x预测为1这个类的概率p=0.6，那么损失就是-log(0.6)，注意这个损失是大于等于0的。如果p=0.9，那么损失就是-log(0.9)，所以p=0.6的损失要大于p=0.9的损失，这很容易理解。

为了方便，用pt代替p，如下公式2：

 

接下来介绍一个最基本的对交叉熵的改进，也将作为本文实验的baseline。

2.Balanced Cross Entropy

什么意思呢？增加了一个系数at，跟pt的定义类似，当label=1的时候，at=a；当label=-1的时候，at=1-a，a的范围也是0到1。因此可以通过设定a的值（一般而言假如1这个类的样本数比-1这个类的样本数多很多，那么a会取0到0.5来增加-1这个类的样本的权重）来控制正负样本对总的loss的共享权重。这里当a=0.5时就和标准交叉熵一样了（系数是个常数）。

显然前面的公式3虽然可以控制正负样本的权重，但是没法控制容易分类和难分类样本的权重。

3.Focal Loss

 

这里的 γ 称作focusing parameter，γ>=0。

(1−pt)^γ称为调制系数（modulating factor） 。

这里介绍下focal loss的两个重要性质：

1、当一个样本被分错的时候，pt是很小的（请结合公式2，比如当y=1时，p<0.5才是错分类，此时pt就比较小，反之当y=-1时，p>0.5是错分了），因此调制系数就趋于1，也就是说相比原来的loss是没有什么大的改变的。当pt趋于1的时候（此时分类正确而且是易分类样本），调制系数趋于0，也就是对于总的loss的贡献很小。

2、当 γ=0 的时候，focal loss就是传统的交叉熵损失，当 γ增加的时候，调制系数也会增加。 

focal loss的两个性质算是核心，其实就是用一个合适的函数去度量难分类和易分类样本对总的损失的贡献。

作者在实验中采用的是公式5的focal loss（结合了公式3和公式4，这样既能调整正负样本的权重，又能控制难易分类样本的权重）：

3、实验与总结：

文章最大的贡献是确定了类别不平衡是阻止one-stage检测器超越性能最好的two-stage方法的主要障碍，例如Faster R-CNN变体。为了解决这个问题，文章提出了Focal Loss，以便集中学习困难的例子，并降低许多容易样本的负面影响。

下表是关于RetinaNet和Focal Loss的一些实验结果。

（a）是在交叉熵的基础上加上参数a，a=0.5就表示传统的交叉熵，可以看出当a=0.75的时候效果最好，AP值提升了0.9。

（b）是对比不同的参数γ和a的实验结果，可以看出随着γ的增加，AP提升比较明显。

（d）通过和OHEM的对比可以看出最好的Focal Loss比最好的OHEM提高了3.2AP。这里OHEM1:3表示在通过OHEM得到的minibatch上强制positive和negative样本的比例为1:3，通过对比可以看出这种强制的操作并没有提升AP。

（e）加入了运算时间的对比，可以和前面的Figure2结合起来看，速度方面也有优势！

注意这里RetinaNet-101-800的AP是37.8，当把训练时间扩大1.5倍同时采用scale jitter，AP可以提高到39.1，这就是全文和table2中的最高的39.1AP的由来。