正负样本不均衡会带来的问题以及使用auc评估模型,focal lossfunction解决问题

auc和focal loss

  • 1.准确率无法作为评判模型好坏的标准
    • 1.1auc和mAP的区别
    • 1.2 roc画图步骤以及auc的计算方法
    • 1.3为什么求roc和x轴的面积
    • 1.4 auc计算
  • 2.对参数的影响主要是由正负样本数目多的一方决定,基本上参数是在拟合数目多的一方,使得数目多的一方预测准确,而忽略了对数目少的一方的拟合。
  • 3.一般来说不论在yolo还是faster rcnn中,每个阶段损失函数是把所有的情况都考虑在内然后加起来的一个式子,而不是分开去算损失函数,因为参数都是共用的一套,需要一次性将参数更新好。所以focal loss function可以用于代替yolo和faster cnn中用于表示类别损失的交叉熵函数。这样就可以有效防止有物体检测框和无物体检测框数量导致的参数更新趋向于拟合无物体。也可以解决目标分为具体哪一类的时候每类物体的差距带来的参数跟新问题。
  • 二分类focal loss function:
  • 多分类focal loss function:
  • 二分类交叉熵:
  • 多分类交叉熵:

1.准确率无法作为评判模型好坏的标准

解决方法:使用auc作为判断的标准解决该问题,甚至可以直接将auc作为loss function

1.1auc和mAP的区别

AUC主要考察模型对正样本以及负样本的覆盖能力(即“找的全”),而mAP主要考察模型对正样本的覆盖能力以及识别能力(即对正样本的“找的全”和“找的对”)

1.2 roc画图步骤以及auc的计算方法

roc画图的步骤:
第一步:按照属于‘正样本’的概率将所有样本排序(如上图所示)
第二步:把分类阈值设为最大,即把所有样例均预测为反例,所以此时得到P和R均为0,即(0,0)。
第三步:将一个样本正概率的值设为分类阈值,计算这时候的P和R标在原图上。
第四步:依次来看每个样本,将每个样本执行第三步上述步骤。
第五步:描点画出图形。

1.3为什么求roc和x轴的面积

AUC就是从所有正样本中随机选择一个样本,从所有负样本中随机选择一个样本,然后根据你的学习器对两个随机样本进行预测,把正样本预测为正例的概率p1,把负样本预测为正例的概率p2,p2>p1的概率就等于AUC
AUC实际上在说一个模型把正样本排在负样本前面的概率!

1.4 auc计算

auc计算:AUC=((正样本的排序之和)-m*(m+1)/2)/(M*N)
在这里插入图片描述

2.对参数的影响主要是由正负样本数目多的一方决定,基本上参数是在拟合数目多的一方,使得数目多的一方预测准确,而忽略了对数目少的一方的拟合。

解决方案:使用进阶版的focal loss。

3.一般来说不论在yolo还是faster rcnn中,每个阶段损失函数是把所有的情况都考虑在内然后加起来的一个式子,而不是分开去算损失函数,因为参数都是共用的一套,需要一次性将参数更新好。所以focal loss function可以用于代替yolo和faster cnn中用于表示类别损失的交叉熵函数。这样就可以有效防止有物体检测框和无物体检测框数量导致的参数更新趋向于拟合无物体。也可以解决目标分为具体哪一类的时候每类物体的差距带来的参数跟新问题。

二分类focal loss function:

正负样本不均衡会带来的问题以及使用auc评估模型,focal lossfunction解决问题_第1张图片

多分类focal loss function:


式中m是当前batch的样本个数,n是类别数目。

二分类交叉熵:

在这里插入图片描述

多分类交叉熵:

正负样本不均衡会带来的问题以及使用auc评估模型,focal lossfunction解决问题_第2张图片

你可能感兴趣的:(正负样本不均衡会带来的问题以及使用auc评估模型,focal lossfunction解决问题)