正负样本数不均衡——Focal Loss

公式1，CrossEntropy Loss；

公式2，使用一个新的变量代替；

公式3，引入参数，可以用作调节样本数量的权重，更大的赋予样本数量少的类别更大的权重；让损失函数不受样本数量过多的类别影响；

公式4，引入参数，可以用作调节样本难易的权重，更大的可以拉开困难样本与容易样本之间的权重距离；让损失函数关注更多困难样本的损失；

公式5，Focal Loss的表达式，既考虑样本数量，又考虑样本难易程度；

 

总结：

1、：赋予难样本更高的权重，拉开难样本与易样本损失的距离，防止模型退化；
2、：赋予数量少的样本更高的权重，防止数量多的样本损失占比太大，加速模型收敛；

论文中提出=2，=0.25配置时最优，就是说调整完难易程度之后，让正例数量与负例数量的比例为1:3最好；即负例中的难样本较少，需要调高负例数量权重——变小；