网上讲的比较清晰的VOT跟踪评价指标EAO

EAO: 又叫非重置重叠期望．

原文：https://blog.csdn.net/sinat_27318881/article/details/84350288

看VOT竞赛报告时，经常会看到一个奇怪的现象，精度A和鲁棒性R的排名都靠前，而EAO，即期望平均覆盖率却不靠前，vice versa，这是怎么回事呢，这篇文章就来说说EAO的计算方法。

1.期望覆盖率
1.1 A和R
看上图，今年的VOT18结果，看看EAO第一的LADCF，A和R都不是第一且都不如第二的MFT但是EAO却排第一，很奇怪吧，之前认为EAO是根据A和R计算出来的，其实不是，只是相关而已。先看看A和R，这两者在VOT13中已经提出，其中A就是精度计算，具体来说就是统计每帧预测的bounding box与gt的交并比，然后平均一下得到单个视频的A，而R则被认为是与A相关性最小的一个度量，从鲁棒性的角度衡量算法性能，具体来说就是计算每个视频跟丢的次数，然后算个失败率，这个值和次数正相关，具体计算方法没有提但是单看排名的话，失败次数和失败率是等价的，失败次数即某帧预测的bb与gt的交集为0则判定失败，然后VOT tool会在5帧之后重新初始化跟踪器。EAO则不是直接用A和R计算的。

 

2.2 EAO与R的关系
之前说过R为鲁棒性，反映为跟丢的次数。讨论极限情况，每一帧的op都为1，A跟踪器和B跟踪器的差别仅在R上，A跟丢1次，B没有跟丢，A即使丢了，初始化后的op仍始终为1，即两者的精度是相同的，鲁棒性不同，来看EAO，假设A在中间帧i跟丢了，所以被分成了2个视频，前一个视频的ϕ \phiϕ显然为0.5，后一个为1，那么EAO为0.75，而B的EAO为1，这就反映了R。以此类推，跟丢的次数越多，被分成的视频就越多，跟丢点越靠前越不利，因为后面大部分的帧的op都算成0了。所以跟丢越多EAO越低。但是EAO和R不等价，很容易看出来，当R相同时，比如都跟丢了一次，但是明显跟丢点在靠前位置的跟踪器的EAO会更低。所以这也反映了VOT这种计算方法的不合理处，这样也导致了文章开头出现的现象。
欢迎与我探讨~