边缘检测的评价指标：PR曲线，OIS，ODS，AP的计算与代码实现

参考博客：1、2
参考代码：HED的源码、画PR曲线

---

一、Precision（精确率）与Recall（召回率）

• 目标检测：
  Precision（精确率）：预测为正例的结果中有多少是真的正例。强调预测的准确性。
  Recall（召回率）：所有真的正例中有多少被预测为正例。强调把多少真正的正例召唤回来。
  
  
  

• 边缘检测中：
  Precision（精确率）：在边缘检测中精确率表示机器生成的边界像素是真实边界像素的概率。
  Recall（召回率）：在边缘检测中召回率表示检测到真实边界像素占所有真实边界像素的概率。

二、PR曲线：精确率——召回率曲线

边缘检测得到的edge probability map结果，并不是二值的矩阵。每个矩阵元素，即对应图像中的像素是否为边缘上点的概率，取值为0到1。为了后续的结果评估，需要将此概率二值化得到binary edge map。故需要设计阈值(threshold) $\eta$，也可以称为置信度，大于 $\eta$ 则置0，表示为正例(positive samples)；小于 $\eta$ 则置1，表示为负例(negative samples)，以得到用于评估的二值边缘图binary edge map。

PR曲线参数的核心Matlab代码如下（edgesEvalImg.m）：

for k = 1:K

  % threshhold and thin E
  E1 = double(E>=max(eps,thrs(k)));
  if(thin), E1=double(bwmorph(E1,'thin',inf)); end
  % compare to each ground truth in turn and accumualte
  Z=zeros(size(E)); matchE=Z; matchG=Z; allG=Z;
  for g = 1:n
    [matchE1,matchG1] = correspondPixels(E1,G{g},maxDist);
    matchE = matchE | matchE1>0;
    matchG = matchG + double(matchG1>0);
    allG = allG + G{g};
  end
  
  % compute recall (summed over each gt image)
  cntR(k) = sum(matchG(:)); sumR(k) = sum(allG(:));
  
  % compute precision (edges can match any gt image)
  cntP(k) = nnz(matchE); sumP(k) = nnz(E1);
  
  % optinally create visualization of matches
  if(nargout<6), continue; end; cs=[1 0 0; 0 .7 0; .7 .8 1]; cs=cs-1;
  FP=E1-matchE; TP=matchE; FN=(allG-matchG)/n;
  for g=1:3, V(:,:,g,k)=max(0,1+FN*cs(1,g)+TP*cs(2,g)+FP*cs(3,g)); end
  V(:,2:end,:,k) = min(V(:,2:end,:,k),V(:,1:end-1,:,k));
  V(2:end,:,:,k) = min(V(2:end,:,:,k),V(1:end-1,:,:,k));
  
end

上述代码出现的参数分别是：

• E1：所有手工标注的真值边缘图进行二值化后求“并”的结果，即。有一个边缘图对应的像素点大于阈值就为1，否则为0。
• matchE：预测的边缘点在所有真值map中有至少一个的对应点为边缘点就表示预测正确预测正确的边缘点为1，否则为0。即，TP=matchE。
• matchG：预测的边缘点在真值中也为边缘点的点数。
• allG：在真值中把对应点预测为边缘点的点数。

一个例子：
假如一张3*3的图片有三个真值边界图（在某一阈值下）

E1计算过程如下：

matchE 计算过程如下：

上述matchG的计算过程如下：

allG计算过程如下：

上面代码通过 correspondPixels函数（封装了，未公开）求得上述四个值，再分别计算下述cntR、sumR、cntP和sumP四个值：

cntR： cntR(k) = sum(matchG( : )) 表示对matchG中所有元素求和（即预测正确的点数，若groundTruth有多个子边界图则要把所有子边界图中预测对的求和）
sumR： sumR(k) = sum(allG( : )) 表示对allG中所有元素求和（即所有子边界图中真实边缘点的个数）
cntP： cntP(k) = nnz(matchE) 表示对matchE统计非0元素的个数（预测结果中预测正确的像素数）（nnz表示Number of nonzero，统计非0元素的个数）
sumP： sumP(k) = nnz(E1) 表示对E1统计非0元素的个数（即总边界图中真实边缘点的个数）

最终，求Precision和Recall：

• Precision：cntP /sumP
• Recall：cntR/ sumR

通过上一步计算P和R，最后得到的有用的参数：[thrs cntR sumR cntP sumP], thrs表示阈值。每张图片会有一个[id]_evl.txt文件。有99行，分别对应99个不同阈值 $\eta$ 和相应的cntR sumR cntP sumP值。对于每一个阈值求相应的Precision和Recall就可画出PR曲线。

三、 OIS、ODS、AP的计算

1. ODS

ODS(optimal dataset scale)，也称为全局最佳、固定阈值
即数据集固定比例 、检测指标数据集尺度上最优，简单说就是为所有图像设置同样的阈值，即选取一个固定的阈值$\eta$应用于所有图片， 使得整个数据集上的F-score最大；

将每张图片对应的txt文件读出来后，首先计算每一张图片的R、P、F，它们都是T行一列的矩阵，其中T为阈值个数。
代码:

function [R,P,F] = computeRPF(cntR,sumR,cntP,sumP)
% compute precision, recall and F measure given cnts and sums
    R=cntR./max(eps,sumR);
    P=cntP./max(eps,sumP);
    F=2*P.*R./max(eps,P+R);
end

这样就能找到使F值最大的阈值k，也就是该张图片的最佳阈值。将得到的结果保存在eval_bdry_img.txt内。代码：

function [bstR,bstP,bstF,bstT] = findBestRPF(T,R,P)
% linearly interpolate to find best thr for optimizing F
if(numel(T)==1), bstT=T; bstR=R; bstP=P;
  bstF=2*P.*R./max(eps,P+R); return; end
A=linspace(0,1,100); B=1-A; bstF=-1;
for j = 2:numel(T)
  Rj=R(j).*A+R(j-1).*B; Pj=P(j).*A+P(j-1).*B; Tj=T(j).*A+T(j-1).*B;
  Fj=2.*Pj.*Rj./max(eps,Pj+Rj); [f,k]=max(Fj);
  if(f>bstF), bstT=Tj(k); bstR=Rj(k); bstP=Pj(k); bstF=f; end
end
end

对每张图片计算[R,P,F] = computeRPF(cntR1,sumR1,cntP1,sumP1); [~,k]=max(F);这样就能找到使F值最大的阈值k，在计算PR曲线时得到的[id]_evl.txt文件中就能读出相应的cntR1(k), sumR1(k), cntP1(k), sumP1(k)。 找到使每张图片F值最大的 cntR, sumR, cntP, sumP，然后分别求和，使用computeRPF(cntR,sumR,cntP,sumP）求出对应的P、R、F就是OIS所需参数。

2. OIS

OIS(optimal image scale)，也称为单图最佳、每幅图像的最佳阈值：
即在每一张图片上均选取不同使得该图片F-score最大的阈值$\eta$。

直接按照阈值将所有图片的cntR,sumR,cntP,sumP分别求和，使用computeRPF(cntR,sumR,cntP,sumP)得到不同阈值下的T、R、P，然后利用findBestRPF(T,R,P)找到F取到最大值的那一组。对应的T就是ODS方法所取得应用于所有图片的阈值。

3. AP

平均准确率，是PR曲线的积分（即PR曲线下方的面积）。由于PR曲线很难积分，通常在PR曲线上采样求均值。代码：

k=k(end:-1:1);
 R=R(k);
 P=P(k);
 T=T(k);
 F=F(k);
 AP=0;
if(numel(R)>1),
    AP=interp1(R,P,0:.01:1);%插值，来提高精确度
    AP=sum(AP(~isnan(AP)))/100; %求均值
End

四、代码实现

最近在找上述PR曲线，OIS和ODS的代码实现，跑自己的数据集。找来找去，最后发现这个链接(https://github.com/zeakey/edgeval)给的matlab代码最方便。

按照官方给的例子最后实现的PR曲线如下图：

核心代码是benchmarkBoundary.m
修改预测边缘地址data_dir与真值图地址gtDir即可跑通自己的数据集。

1. 注意数据类型

预测边缘图：
二维0-255（.png）格式的预测边缘图

真值图：
仅含有0和1（.mat）格式的文件，mat文件内是cell封装的struct格式的数据，如下所示：

每个struct保存一个标记者标注的真值图。

其中boundary只含有0和1；segmentation即语义分割图，1到n，n为类别数；这里我们只需要Boundary这个数据类型。

为此，保存自己的真值图为mat文件的python代码示例如下：

io.savemat(label_name, {'groundTruth'[{'Boundaries':label_1},{'Boundaries':label_2}, {'Boundaries':label_3}]})

label1、label2、label3即不同标注者标记的真值图。

2. NMS

这一段代码就是调用NMS, 注意这里的核心函数edgesNmsMex被封装，看不到具体实现

3. 指标测量

核心函数是edgesEvalDir，参数如下图：

注意maxDist这个参数，即最大容忍误差，默认值0.0075对应4.3pixel（论文说的，我也不知道为什么）。

感谢网友科研小白猫的评论关于maxDist参数的解答，在此复制他的见解，作为补充：

maxdist=0.0075对应4.3pixel。图像斜对角距离，例如：图像321×481，斜对角距离为根号下321×321+481×481=578，578×0.0075=4.3。

4. 关于对比实验多PR曲线图的绘制

关于怎么绘制多段PR曲线到一张图上，这个仓库的matlab最好用。

核心代码是edgesEvalPlot.m，我们需要修改的是plot_xx.m文件，具体来说：

• 建立一个文件夹命名为your_dir_name存放各个对比实验产生的xxx_eval_bdry.txt和xxx_eval_bdry_thr.txt文件
• 修改plot_xx.m里colors、lines、years、names信息，注意是一一对应的
• 修改plot_xx.m里调用edgesEvalPlot.m的参数
• Done! 官方效果图：