目标跟踪评价指标-精度Pr、召回率Re

评价指标

  • VOTlt
    • 预测值与真实值的四种关系
    • 精度(precision,Pr)
    • 召回率(recall,Re)
    • F-score
    • Pr和Re之间trade off的解释

目标跟踪评价指标-精度Pr、召回率Re_第1张图片

VOTlt

预测值与真实值的四种关系

真正例(true positive,TP):正样本被认为是正样本,yes。
真负例(true negative,TN):负样本被认为是负样本,yes。
假正例(false positive,FP):负样本被认为是正样本,误检。
假负例(false positive,FN):正样本被认为是负样本,漏检。

精度(precision,Pr)

计算公式: P r = T P T P + F P Pr=\frac{TP}{TP+FP} Pr=TP+FPTP
解释:预测的结果中,确实是正确的概率。精度越大误检越少。

召回率(recall,Re)

计算公式: R e = T P T P + F N Re=\frac{TP}{TP+FN} Re=TP+FNTP
解释:结果预测出了多少正样本。召回率越大漏检越少。

F-score

计算公式: F = 2 ⋅ P r ⋅ R e P r + R e F = 2 \cdot \frac{Pr \cdot Re}{Pr + Re} F=2Pr+RePrRe ( F 1 F_1 F1score)
解释:高Pr和高Re难以兼得,所以以F-score反映跟踪器的综合性能。

Pr和Re之间trade off的解释

简单来讲,提高Pr和提高Re存在以下的矛盾:
增加Pr的关键是,将分类条件定的苛刻一些,带来的坏处是:本来是正样本(但不那么明显)的被筛除掉;
增加Re的关键是,将分类条件定的松一些,带来的坏处是:疑似正样本的东西一股脑都进箩筐里了。

下面举例说明(例子较冗长)

(顺带一提:
准确率(accuracy,Acc)计算公式: A c c = T P + T N T P + T N + F P + F N Acc=\frac{TP+TN}{TP+TN+FP+FN} Acc=TP+TN+FP+FNTP+TN
Acc、Pr和Re都可以在分类器效果不佳的情况下取得高分:
假设某数据集D包含1000个样本,其中50个是正样本,其余950个是负样本。(数据集正负样本分布不均较为常见))

1.一个简单的二分类器输出1000个预测结果,判断10个是正样本,990个是负样本。预测的10个正样本都是FP(误检),此时TP=0,TN=940,FP=10,FN=50。(一沓糊涂)
A c c = T P + T N T P + T N + F P + F N = 940 1000 = 94 % Acc=\frac{TP+TN}{TP+TN+FP+FN}=\frac{940}{1000}=94\% Acc=TP+TN+FP+FNTP+TN=1000940=94%
P r = T P T P + F P = 0 10 = 0 % Pr=\frac{TP}{TP+FP}=\frac{0}{10}=0\% Pr=TP+FPTP=100=0%
R e = T P T P + F N = 0 50 = 0 % Re=\frac{TP}{TP+FN}=\frac{0}{50}=0\% Re=TP+FNTP=500=0%
一般对于正样本的准确判断是更重要的,不过Acc对正负样本判断赋予的权值一致,在数据集正负样本分布不均的时候,Acc反映不出分类器性能。

2.判断200个是正样本,800个是负样本。预测的200个中,45个确实是正样本。此时,TP=45,TN=795,FP=155,FN=5。(放宽条件,不漏掉想检测出的目标)
P r = T P T P + F P = 45 200 = 22.5 % Pr=\frac{TP}{TP+FP}=\frac{45}{200}=22.5\% Pr=TP+FPTP=20045=22.5%
R e = T P T P + F N = 45 50 = 90 % Re=\frac{TP}{TP+FN}=\frac{45}{50}=90\% Re=TP+FNTP=5045=90%

3.判断35个是正样本,965个是负样本。预测的35个中,33个确实是正样本。此时,TP=33,TN=948,FP=2,FN=17。(严守条件,尽量测出的都是对的)
P r = T P T P + F P = 33 35 ≈ 94 % Pr=\frac{TP}{TP+FP}=\frac{33}{35}\approx94\% Pr=TP+FPTP=353394%
R e = T P T P + F N = 33 50 = 66 % Re=\frac{TP}{TP+FN}=\frac{33}{50}=66\% Re=TP+FNTP=5033=66%

你可能感兴趣的:(目标跟踪,深度学习,计算机视觉)