多目标跟踪评价指标总结——MOTA、IDF1、HOTA等

多目标跟踪评价指标——MOTA、IDF1、HOTA等

首先了解一下MOT challenge的评价指标，这些指标都是MOT任务比较常用且流行的指标：

MOTA

首先需要了解的是：

• fragmentation是在第t帧当中发生的ID分配错误(ID switch)。也就是说，如果在ground truth第j个轨迹的第t帧之前，跟踪器(tracker)把该轨迹的ID都预测正确了，但是第t+1帧预测错误了，那么ID switch的个数+1，值得注意的是，即使第t+1帧之后跟踪器仍然把该轨迹的ID预测错误了，但是错误的ID为同一个，那么ID switch个数不会增加。举个直观一点的例子，假设周杰伦在第1帧的时候走入镜头，在第100帧的时候走出镜头，跟踪器的boungding box一直能够跟上，但是在第50帧的时候把周杰伦识别成了彭于晏，那么这100帧内ID switch的个数为1。假设第t帧中ID switch的个数为${\varphi }_t$，那么所有帧的个数为$\Phi ={\sum }_t{\varphi }_t$。
• false positive $f_{p_t}$指的是在第t帧中，跟踪器检测到了的bounding box但是在ground truth中却不存在bounding box的个数。
• false negative $f_{n_t}$指的是在第t帧中，跟踪器漏检了的bounding box但是在ground truth中存在bounding box的个数。
• true positive $t_{p_t}$指的是在第t帧中，跟踪器和ground truth同时都有的bounding box。
• 大写的$TP,FP,FN$就是true positive, false positive, false negative在所有帧中的总和**（注意，只考虑bounding box，没有考虑bounding box的ID，也就是说，只要框住了就算TP，ID错了也算TP）**。

$$\mathrm{MOTA}=1-\frac{FN+FP+\Phi }{T}$$

其中T指的是ground truth中bounding box的数量。可以看出，MOTA其实是对FN、FP、$\Phi$进行了惩罚，然后又利用T进行正则。

IDF1

$$\begin{array}{rl}IDP& =\frac{IDTP}{IDTP+IDFP}\\ IDR& =\frac{IDTP}{IDTP+IDFN}\\ ID{F}_1& =\frac{2IDTP}{2IDTP+IDFP+IDFN}\end{array}$$

$IDP$其实就是ID+Precision，在模式识别中：
$$Precision=\frac{TP}{TP+FP}$$

这里的$IDP$其实就是把每个ID当作单独的一类去计算Precision，同理，$IDR$则对应ID+Recall，$ID{F}_1$则对应ID+F1 score，$ID{F}_1$本质上没有什么实际物理含义，只是对$IDP$和$IDR$的一个调和平均。

HOTA

首先，$TP，FP,FN$的概念和MOTA中的一样，都是只考虑检测框的前提下统计的。

然后明确几个新的概念（可能有点绕，可以多读几遍）：

• $\mathrm{T}PA(c)$ True Positive Association：对于给定的$TP$集合中，预测的ID和ground truch的ID都为c的情况即为$\mathrm{T}PA(c)$，也就是说，只是把bounding box和ID都考虑进去了。
• $\mathrm{F}NA(c)$ False Negative Association：对于给定的$TP$集合中（注意，仍是TP），ground truth的ID为c，但是预测的ID不为c的情况，以及$FN$集合中，ground truch的ID为c的情况即为$\mathrm{F}NA(c)$。
• $\mathrm{F}PA(c)$ False Positive Associations：对于给定的$TP$集合中（注意，仍是TP），预测的ID为c，但是ground truth的ID不为c的情况，以及$FP$集合中，预测的ID为c的情况即为$\mathrm{F}PA(c)$。

下面这张图片来自原论文，较为清楚地解释了以上概念：

知道了上面的概念之后，在阈值为$\alpha$（可以是IoU也可以是距离）的情况下：
$${\mathrm{HOTA}}_{\alpha }=\sqrt{\frac{{\sum }_{c\in \{\mathrm{TP}\}}\mathcal{A}(c)}{|\mathrm{TP}|+|\mathrm{FN}|+|\mathrm{FP}|}}$$
其中：
$$\mathcal{A}(c)=\frac{|\mathrm{TPA}(c)|}{|\mathrm{TPA}(c)|+|\mathrm{FNA}(c)|+|\mathrm{FPA}(c)|}$$
考虑不同的阈值$\alpha$：
$$\mathrm{HOTA}={\int }_0^1{\mathrm{HOTA}}_{\alpha }d\alpha \approx \frac{1}{19}\sum _{\begin{array}{c}\alpha \in \{0.05,0.1,\dots \}\\ 0.9,0.95\end{array}}{\mathrm{HOTA}}_{\alpha }$$
除此之外，原论文还提出了一下其他的评价指标，用来衡量tracker更加具体的方面：
$$\mathrm{LocA}={\int }_0^1\frac{1}{\left|{\mathrm{TP}}_{\alpha }\right|}\sum _{c\in \left\{{\mathrm{TP}}_{\alpha }\right\}}\mathcal{S}(c)d\alpha$$
${\mathrm{TP}}_{\alpha }$指的是在（IoU或者距离）阈值为$\alpha$的情况下的$TP$数量，$\mathcal{S}(c)$指的是所有$TP$实际的IoU或距离。
$$\begin{array}{rl}& {\mathrm{DetA}}_{\alpha }=\frac{|\mathrm{TP}|}{|\mathrm{TP}|+|\mathrm{FN}|+|\mathrm{FP}|}\\ & {\mathrm{AssA}}_{\alpha }=\frac{1}{|\mathrm{TP}|}\sum _{c\in \{\mathrm{TP}\}}\mathcal{A}(c)\\ & {\mathrm{DetRe}}_{\alpha }=\frac{|\mathrm{TP}|}{|\mathrm{TP}|+|\mathrm{FN}|}\\ & {\mathrm{DetPr}}_{\alpha }=\frac{|\mathrm{TP}|}{|\mathrm{TP}|+|\mathrm{FP}|}\\ & {\mathrm{Det}}_{\alpha }=\frac{\mathrm{Det}{\mathrm{Re}}_{\alpha }\cdot \mathrm{Det}{\mathrm{Pr}}_{\alpha }}{\mathrm{Det}{\mathrm{Re}}_{\alpha }+{\mathrm{DetPr}}_{\alpha }-{\mathrm{DetRe}}_{\alpha }\cdot {\mathrm{DetPr}}_{\alpha }}\\ & {\mathrm{AssRe}}_{\alpha }=\frac{1}{|\mathrm{TP}|}\sum _{c\in \{\mathrm{TP}\}}\frac{|\mathrm{TPA}(c)|}{|\mathrm{TPA}(c)|+|\mathrm{FNA}(c)|}\\ & {\mathrm{AssPr}}_{\alpha }=\frac{1}{|\mathrm{TP}|}\sum _{c\in \{\mathrm{TP}\}}\frac{|\mathrm{TPA}(c)|}{|\mathrm{TPA}(c)|+|\mathrm{FPA}(c)|}\\ & {\mathrm{Ass}}_{\alpha }=\frac{\mathrm{AssRe}{\mathrm{ess}}_{\alpha }\cdot {\mathrm{Ass}}_{\alpha }}{{\mathrm{AssRe}}_{\alpha }+{\mathrm{AssPr}}_{\alpha }-{\mathrm{AssRe}}_{\alpha }\cdot {\mathrm{Ass}}^2{\mathrm{Pr}}_{\alpha }}\end{array}$$
如果要计算以上指标去掉下角标$\alpha$的话，和MOTA类似，对不同的$\alpha$积分即可：
$$\mathrm{XXX}={\int }_0^1{\mathrm{XXX}}_{\alpha }d\alpha \approx \frac{1}{19}\sum _{\begin{array}{c}\alpha \in \{0.05,0.1,\dots \}\\ 0.9,0.95\end{array}}{\mathrm{XXX}}_{\alpha }$$