Focal Loss——挖掘困难样本，用于对抗样本不平衡

Focal loss我觉得直观感觉的话还是比较简单的，其实就是，增大Loss大的样本对梯度的贡献

来看一个对比，下面这个是交叉熵损失函数，

 其中ti是第i个样本xi的target，pi是模型预测xi属于类i的概率

Focal loss形式如下：

 忽略掉了Focal中加入的class weight，它是用来解决样本不平衡的，在这里不重要，  ​是一个超参数。它对CELoss加了一个优化，能够使得Hard Sample对loss贡献更大。看公式，如果pi比较大，即一个Easy Sample，则​就比较小，再​   次方一下，会更小。所以Focal Loss在损失函数上就可以使得Hard Sample在loss中贡献更大，从而使得训练效果对Hard Sample学的更好。