深度学习网络评价指标——IoU、Precision、Recall,mIoU、mPA、Accuracy和f-score的定义,区别和联系

文章目录

  • 评价对象
  • 分类器预测结果
  • IoU、Precision、Recall
  • Miou、mPA、Accuracy
  • F-Score

评价对象

  • IoU、Precision、Recall是针对所有图片内的某一类来说的;
  • mIoU、mPA、Accuracy是针对所有类别来计算的;

分类器预测结果

实际中分类器的预测结果可以分为四种,TP,TN ,FP,FN:
深度学习网络评价指标——IoU、Precision、Recall,mIoU、mPA、Accuracy和f-score的定义,区别和联系_第1张图片

  • TP true positive 实际为正样本预测为正样本
  • TN true negitive 实际为负样本预测为负样本
  • FP false positive 实际为负样本预测为正样本
  • FN false negative 实际为正样本预测为负样本

IoU、Precision、Recall

  • IoU 交并比: TP/(TP+FP+FN)
  • Recall 查全率: TP/(TP+FN)
  • Precesion 精确率(类别像素准确率CPA:每个类被正确分类像素数的比例): TP/(TP+FP)

Miou、mPA、Accuracy

  • Accuracy 像素准确率(PA: 预测类别正确的像素数占总像素数的比例):
    Accuracy=PA = (TP + TN) / (TP + TN + FP + FN)
  • mPA (CPA累加求平均): mPA = sum(Pi) / 类别数
  • mIoU 均交并比(IoU累加求平均): mIoU = sum(IoU) / 类别数

F-Score

F-Score是在需要综合考虑Precision和Recall的调和值时,引出的新的评价指标,可以根据Precision和Recall的重要性差别设定不同的β值:
深度学习网络评价指标——IoU、Precision、Recall,mIoU、mPA、Accuracy和f-score的定义,区别和联系_第2张图片

  • 提出原因

虽然从计算公式来看,并没有什么必然的相关性关系,但是,在大规模数据集合中,这2个指标往往是相互制约的,即此消彼涨的

  • Precision和Recall的重要性和β的赋值的关系
    • 当Precision精确率更重要些,就调整β的值小于1
    • 当Precision精确率和Recall召回率的重要性相同,β=1时,称为F1-score,权重相同
    • 当Recall召回率更重要些,就调整β的值大于1
  • 如何判断Precision和Recall哪个重要呢
    准确率低代表误检多,召回率低代表漏检多,如果不明白,好好看一下本文之前部分写的Recall和Precision的定义即可,这里我通过几个例子来说明:
    • 测全率/召回率更加重要
      对于医疗模型,比如判断一个细胞是不是癌细胞或者一个病人是不是患有癌症,测全率是很重要的,但是误判相对于测全来说却没有那么重要。解释一下就是,一个没有患癌症的病人被诊断为癌症影响不是很大,但是一个患有癌症的患者被诊断为正常人影响却非常大。
      同样的,也适用于诈骗模型,把普通人认成诈骗犯影响不是很大,但把诈骗犯认作普通人影响很大,这种情况下,测全率就非常的重要
    • 准确率更加重要
      对于一般的搜索模型,把非搜索内容当作搜索内容影响很大,但是把部分搜索内容当作非搜索内容(即并不是能搜索到全网所有的相关结果,但你看到的都是你搜索的内容)影响不大,这情况下准确率就非常的重要
      对于垃圾邮件模型,把非垃圾邮件认成垃圾邮件影响很大(你会错过重要邮件),而把垃圾邮件认成非垃圾邮件影响不大(你可以删掉不看就是了),这情况下准确率就非常的重要

你可能感兴趣的:(深度学习,目标检测)