样本均衡之Focal-Loss

论文地址:Focal Loss for Dense Object Detection
ICCV2007 RBG和Kaiming大神新作

要解决的问题:

一阶段网络出现后,发现一阶段网络的检测准确率不如二阶段网路。经过一系列分析后,作者认为是:样本类别不均衡导致的

因为二阶段网络会将ROI进行排序,根据比例挑选出一定数量的正负样本,保持了样本均衡。而一阶段网络,大多数格子点是不存在目标的,所以负样本占据了大部分。而对于这些负样本,大多数都是很用以区分的,希望模型在训练的时候不要太关注这些容易的样本,尽量降低他们的权重,否则这些样本会对整个样本数据集合进行中和。导致即使最后loss相同,但是难样本分类效果不佳。

先前的OHEM 算法虽然增加了错分类样本的权重,但是也忽略了容易分类的样本

因此作者针对类别不均衡的问题,提出了在损失函数中更加关注难分类的样本,即减少易分类样本的权重,使得模型训练时更加关注难分类的样本。

focal-loss 曲线图如下:
可以看到,通过调节gama 值,与传统交叉熵相比,离真值越远的点所受到惩罚的力度越大
样本均衡之Focal-Loss_第1张图片

推导过程

二分类交叉熵公式:
在这里插入图片描述
一般为了控制各类别样本的loss贡献,通常在各自类别前加权重系数
在这里插入图片描述
但是这样却没有控制难易样本的权重。
于是增加一项与样本难易相关的系数,称为调制系数
在这里插入图片描述
比如:gamam=2,一样easy example(pt=0.9)的loss要比标准的交叉熵loss小100+倍

经过组合就得到focal-loss公式:
在这里插入图片描述
作者通过实验发现a = 0.25 gama = 2 效果明显,检测精度几乎达到了二阶段的水平

你可能感兴趣的:(Deep,Learning,深度学习,机器学习,pytorch)