Object Tracking Benchmark 目标跟踪中常用算法评价参数

      作为计算机视觉的重要组成部分，最近几年有很多的目标跟踪算法提出。在如何评价算法性能方面也相继有一些方法和视频序列提出。本篇博客主要对2015年发表于IEEE上一篇《Object Tracking Benchmark》当中提出的OPE、TRE、SRE三个基本评价方法进行讲解，同时也会简单介绍一下Precision Plot、Success Plot的matlab实现方法。
      作者除了在文章中介绍了评价算法性能的几种方法和参数之外，还给出了两个用来进行测试的数据集：TB-50 Sequences和TB-100 Sequences。其中有许多视频序列都是我们在近几年的论文中都可以看到的，作者同时也给database添加了label，如FM=Fast Move、SV=scale variance等，方便测试算法在不同环境下的性能。感兴趣的话可以在作者主页找到这些内容。
      有了benchmark之后，接下来就是参考《Object Tracking Benchmark》中定义的参数对目标跟踪算法的性能进行评价。两个衡量目标跟踪精准度的基本参数是Precision Plot和Success Plot。接下来将对这两个参数进行介绍。

Precesion Plot: Euclidean distance between the center locations.
      precesion plot(精度测算)主要指的是预测位置中心点与benchmark中标注的中心位置间的欧式距离，是以像素为单位进行的计算。计算方式比较简单，在进行目标跟踪时我们主要会得到两个参数：跟踪目标左上角的坐标和scale的大小。在这里给出计算的matlab代码。

addpath('../STCT-master/sample_res/');
%res=load('./sample_res/Basketball/res_basketball.txt');
res=load('./sample_res/Basketball/track_res_fct_scale_base1.mat');
res=res.results.res;
ground_truth=load('./sample_res/Basketball/groundtruth_rect.txt');
[m,n]=size(res);
precision_plot(m)=0;
average_precision_plot=0;
%calculate precision plot
for i=1:m
    temp1=(res(i,1)+res(i,3)/2-ground_truth(i,1)-ground_truth(i,3))^2;
    temp2=(res(i,2)+res(i,4)/2-ground_truth(i,2)-ground_truth(i,4))^2;
    precision_plot(i)=sqrt(temp1+temp2);
end
%average precision plot
average_precision_plot=sum(precision_plot);   
average_precision_plot=average_precision_plot/m;

      最终结果用average_precision_plot来表示，即为该视频序列所有帧的平均误差。

Success Plot:
      success plot(成功率测算)主要指的是预测目标所在benchmark的重合程度。通过success plot，我个人觉得对scale和precision都有了数值上的描述。下面简单介绍success plot的计算方法。

      在说明success plot的计算方法前，首先要对两个参数进行介绍。rt为tracked bounding box,r0为ground_truth bounding box。这样success plot的计算就很好理解了。同样也附上matlab代码。

success_plot(m)=0;
average_success_plot=0;
%calculate success plot
for i=1:m
   s1=res(i,3)*res(i,4);
   s2=ground_truth(i,3)*ground_truth(i,4);
   %length
   if res(i,1)i,1)
       temp3=res(i,1)+res(i,3)-ground_truth(i,1);
   else 
       temp3=ground_truth(i,1)+ground_truth(i,3)-res(i,1);
   end

   %height
   if res(i,2)i,2)
       temp4=res(i,2)+res(i,4)-ground_truth(i,2);
   else 
       temp4=ground_truth(i,2)+ground_truth(i,4)-res(i,2);
   end
   s_common=temp3*temp4;
   if s_common>=s1+s2
       success_plot(i)=0;
   else
       success_plot(i)=s_common/(s1+s2-s_common);
   end
end

%average success plot
average_success_plot=sum(success_plot);
average_success_plot=average_success_plot/m;

display(average_precision_plot);
display(average_success_plot);    

关于鲁棒性
      为了测试/表征算法的鲁棒性，仅仅有以上的两个简单参数怕是远远不够的。简单对OPE、TRE、SRE进行介绍。
OPE: one-pass evaluation;
TRE: temporal robustness evaluation (different start frame);
SRE:spatial robustness evaluation (four center shifts and four corner shifts).
      其中OPE即为普通方法，TRE、SRE为测试鲁棒性方法。另还有其它更加复杂的方法，如果感兴趣的话可以在参考文献中查找到。在这里就不做过多的描述了。

主要参考文献：
Wu Y, Lim J, Yang M H. Object tracking benchmark[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2015, 37(9): 1834-1848.