交叉熵损失、Focal loss

交叉熵就是— 标签乘以logpi求和交叉熵损失、Focal loss_第1张图片
y就是标签0/1,当属于这一类的时候就是1。
交叉熵损失、Focal loss_第2张图片
交叉熵损失、Focal loss_第3张图片Loss越大越容易收敛,太小不好收敛。

Focal loss作用:

解决类别不平衡问题,对困难样本的损失分配比较大的权重

负样本数量太大,占总的loss的大部分,而且多是容易分类的,因此使得模型的优化方向并不是我们所希望的那样。

首先为了控制正负样本的权重,可以在loss前加一个系数,比如在这里插入图片描述

但是,这样只能控制正负样本的权重,但是不饿能控制容易分类和难分类样本的权重。困难:概率为0.6左右,虽然大于0.5,但是难分类;易分类如0.9。

于是就有了Focal loss:在这里插入图片描述指数部分称为调制系数,目的是减少易分类样本的权重,使得模型在训练时更加专注于难分类的样本。(注意log在0-1之间是负的,越接近于0,总的loss越大。)

你可能感兴趣的:(深度学习)