目标跟踪评价指标-精度Pr、召回率Re

VOTlt

预测值与真实值的四种关系

真正例（true positive，TP）：正样本被认为是正样本，yes。
真负例（true negative，TN）：负样本被认为是负样本，yes。
假正例（false positive，FP）：负样本被认为是正样本，误检。
假负例（false positive，FN）：正样本被认为是负样本，漏检。

精度（precision，Pr）

计算公式：$Pr=\frac{TP}{TP+FP}$
解释：预测的结果中，确实是正确的概率。精度越大误检越少。

召回率（recall，Re）

计算公式：$Re=\frac{TP}{TP+FN}$
解释：结果预测出了多少正样本。召回率越大漏检越少。

F-score

计算公式：$F=2\cdot \frac{Pr\cdot Re}{Pr+Re}$ ($F_1$score)
解释：高Pr和高Re难以兼得，所以以F-score反映跟踪器的综合性能。

Pr和Re之间trade off的解释

简单来讲，提高Pr和提高Re存在以下的矛盾：
增加Pr的关键是，将分类条件定的苛刻一些，带来的坏处是：本来是正样本（但不那么明显）的被筛除掉；
增加Re的关键是，将分类条件定的松一些，带来的坏处是：疑似正样本的东西一股脑都进箩筐里了。

下面举例说明（例子较冗长）

（顺带一提：
准确率（accuracy，Acc）计算公式：$Acc=\frac{TP+TN}{TP+TN+FP+FN}$
Acc、Pr和Re都可以在分类器效果不佳的情况下取得高分：
假设某数据集D包含1000个样本，其中50个是正样本，其余950个是负样本。（数据集正负样本分布不均较为常见））

1.一个简单的二分类器输出1000个预测结果，判断10个是正样本，990个是负样本。预测的10个正样本都是FP（误检），此时TP=0，TN=940，FP=10，FN=50。（一沓糊涂）
$Acc=\frac{TP+TN}{TP+TN+FP+FN}=\frac{940}{1000}=94\%$
$Pr=\frac{TP}{TP+FP}=\frac{0}{10}=0\%$
$Re=\frac{TP}{TP+FN}=\frac{0}{50}=0\%$
一般对于正样本的准确判断是更重要的，不过Acc对正负样本判断赋予的权值一致，在数据集正负样本分布不均的时候，Acc反映不出分类器性能。

2.判断200个是正样本，800个是负样本。预测的200个中，45个确实是正样本。此时，TP=45，TN=795，FP=155，FN=5。(放宽条件，不漏掉想检测出的目标)
$Pr=\frac{TP}{TP+FP}=\frac{45}{200}=22.5\%$
$Re=\frac{TP}{TP+FN}=\frac{45}{50}=90\%$

3.判断35个是正样本，965个是负样本。预测的35个中，33个确实是正样本。此时，TP=33，TN=948，FP=2，FN=17。（严守条件，尽量测出的都是对的）
$Pr=\frac{TP}{TP+FP}=\frac{33}{35}\approx 94\%$
$Re=\frac{TP}{TP+FN}=\frac{33}{50}=66\%$