目标检测基本概念

文章目录

  • 1 ACC,P,R,AP
  • 2 Epoch, Batch, Iteration
    • 2.1 基本含义
    • 2.2 换算关系
    • 2.3 示例
  • 3 AUC
    • 3.1什么是AUC?

1 ACC,P,R,AP

精度(accuracy)=(TP+FN)/ALL
有多少选对了
错误率=(TN+FP)/ALL
有多少选错了

查准率(Precision)=TP/(TP+FP)
选出来的有多少对的。
查全率(Recall)=TP/(TP+FN)
有多少对的被选出来。
目标检测基本概念_第1张图片
AP(Average Precision):对每个R对应的P都加起来,求均值。
(单个类的的PR曲线面积。)
mAP:所有类的AP求均值。

2 Epoch, Batch, Iteration

2.1 基本含义

![在这里插入图片描述](https://img-blog.csdnimg.cn/20200723194143934.png

2.2 换算关系

实际上,梯度下降的几种方式的根本区别就在于上面公式中的 Batch Size不同。

*注:上表中 Mini-Batch 的 Batch 个数为 N / B + 1 是针对未整除的情况。整除则是 N / B。

2.3 示例

CIFAR10 数据集有 50000 张训练图片,10000 张测试图片。现在选择 Batch Size = 256 对模型进行训练。

每个 Epoch 要训练的图片数量:50000
每个 Epoch 需要完成的 Batch 个数: 50000/256=195+1=196
每个 Epoch 具有的 Iteration 个数: 196
每个 Epoch 中发生模型权重更新的次数:196
训练 10代后,模型权重更新的次数:1960

3 AUC

3.1什么是AUC?

AUC只能用于二分类模型的评价。很多机器学习的模型对分类问题的预测结果都是概率,如果要计算accuracy,需要先把概率转化成类别,这就需要手动设置一个阈值,而这个阈值很大程度上影响了accuracy的计算。使用AUC可以避免把预测概率转换成类别。AUC是Area under curve的首字母缩写。curve是指ROC曲线。其x轴是伪阳性率(false positive rate),y轴是真阳性率(true positive rate)
对于二分类问题,一个样本的类别只有两种,我们用0,1分别表示两种类别,0和1也可以分别叫做阴性和阳性。当我们用一个分类器进行概率的预测的时候,对于真实为0的样本,我们可能预测其为0或1,同样对于真实为1的样本,我们也可能预测其为0或1,这样就有四种可能性:
目标检测基本概念_第2张图片
真阳性率=(真阳性的数量)/(真阳性的数量+伪阴性的数量)
伪阳性率=(伪阳性的数量)/(伪阳性的数量+真阴性的数量)

我们来看一个具体例子,比如有5个样本:
真实的类别(标签)是y=c(1,1,0,0,1)一个分类器预测样本为1的概率是p=c(0.5,0.6,0.55,0.4,0.7)
我们需要选定阈值才能把概率转化为类别,选定不同的闽值会得到不同的结果。如果我们选定的阈值为0.1,那5个样本被分进1的类别,如果选定0.3,结果仍然一样。如果选了0.45作为闽值,那么只有样本4被分进0,其余都进入1类。一旦得到了类别,我们就可以计算相应的真、伪阳性率,当我们把所有计算得到的不同真、伪阳性率连起来,就画出了ROC曲线。
目标检测基本概念_第3张图片
AUC就是从所有1样本中随机选取一个样本,从所有0样本中随机选取一个样本,然后根据你的分类器对两个随机样本进行预测,把1样本预测为1的概率为p1,把0样本预测为1的概率为p0,p1>p0的概率就等于AUC。所以AUC反应的是分类器对样本的排序能力。根据这个解释,如果我们完全随机的对样本分类,那么AUC应该接近0.5。另外值得注意的是,AUC对样本类别是否均衡并不敏感,这也是不均衡样本通常用AUC评价分类器性能的一个原因。

你可能感兴趣的:(模型性能度量)