Focal loss特点和不均衡问题

     focal loss来源于论文《Focal loss for dense object detection》, Retinanet目标检测也在该文中提出。

1、FL（focal loss）主要解决目标检测中容易分类样本过多，导致累计loss偏大，FL通过给交叉商loss增加调节因子，使得容易分类的样本对总loss的贡献大大减小，而对错分的样本的loss影响不大或接近CE损失。

2、FL的由来经过以下三步

（1）一般的CE

正确分类的样本 loss  = -log(pt)

Sigmoid损失，不管正样本还是负样本，只要分对，损失都是这个式子。

（2）加权CE

-at*log(pt)

解决不均衡样本问题。

样本少at大，增大对loss贡献量;

样本多at小，减少对loss贡献量。

（3）可调节因子CE（Focal loss）

pt大于0.5的easy examples的loss减小，累积loss减小。

pt小于0.5的错分样本loss与CELoss接近，不受影响。

3、实验表明sigmoid和FL一起实现的loss层有更好的数值稳定性

4、两阶段检测器解决类别类别不均衡的思想

（1）两阶段级联

提出大量候选框，不是随机选的，而是更接近正样本（目标）的候选框，这样就排除了更多easy examples

（2）有偏置的minibatch采样

通过采样使得正负样本更均衡，比如正负样本比例1：3，通过采样均衡后，easy样本对loss的贡献就会变小，这种方法从数学上与focal loss一样。focal loss直接用于单阶段检测器。

5、OHEM解决类别不均衡

《Training region-based object detector with online hard example mining》提出该方法，目的是为了提升双阶段检测器的训练。

方法：训练时利用高损失样本构造minibatch

步骤：

（1）每个样本用其loss评分

（2）应用NMS过滤

（3）利用最高loss的样本构造minibatch

可调参数：nms阈值、batchsize

特点：更强调错分样本，完全丢弃易分样本

实验表明：FL比OHEM更优