边缘检测之HED

出自论文,Holistically-Nested Edge Detection ,ICCV2015,Marr奖提名,非常值得看的一篇。

 

 

边缘检测的工作分为以下3个研究方向:

(1)传统的检测算子:Sobel ,Canny

(2)基于信息理论设计的手工特征:Statistical Edges ,Pb ,gPb

(3)基于学习方法设计的手工特征:BEL , Multi-scale , Sketch Tokens, Structured Edges

 边缘检测之HED_第1张图片 

 

 

从上图中可以看出,canny检测会存在断开线的情况,而HED基本没有这种现象,HED的效果明显优于canny。

 

 

整体嵌套的边缘检测holistically-nested edge detection (HED) 。

 

insight: 

(1)端到端:image-to-image

(2)基于FCN和VGG 改进,同时引出6个loss进行优化训练,通过多个side output输出不同scale的边缘,然后通过一个训练的权重融合函数得到最终的边缘输出。可以solve edge 和物体boundaries的ambiguity

(3)样本不平衡处理方法:class-balanced_sigmoid_cross_entropy

 

 

网络整体结构:

边缘检测之HED_第2张图片

 

作者在conv1_2, conv2_2, conv3_3, conv4_3,conv5_3后面分别引出,然后接入sigmoid_cross_entropy_loss,并且在最后一层,对上面的5层的输出做了concat,同时也接入sigmoid_cross_entropy_loss,这样所有的Loss都等概率的同时训练,从而使得最终得到比较好的模型。

这里一个需要注意的就是,这里6个loss是同时训练的,如果只训练最后一个loss,精度会有所下降。

 

在预测阶段,可以直接取最后一层的输出结果最为最终结果。也可以将所有的层的输出结果都得到,然后求一个平均作为最终结果。这样做的优势就是会使得精度进一步提高,缺点就是加入额外操作,时间会增加。

如下图所示,side-output1-5分别为第1-5个卷积层的输出。Fusion-output为最后一层的输出,Average1-4 为第1-4个卷积的输出求平均,Average1-5,Average2-4,Average2-5, 依次类推。Merged result为所有层的结果求平均合并后的结果。

可以看出,

(1) 对于每个单独的层,最后一层做过特征融合后的结果是最好的。

(2) 将所有层的结果求平均,对最终准确率会有提升。

边缘检测之HED_第3张图片

 

训练过程中,由于边缘检测实际是对每个像素进行2分类任务。大部分像素为非边缘,只有少部分像素为边缘,为了进行正负样本的平衡,这里作者引入了class-balanced_sigmoid_cross_entropy。

 

上图为作者论文中的公式,作者这里没有将label的数值y_hat写进去。进行整理如下。

sigmoid_cross_entropy:

-y_hat* log(sigmoid(y)) - (1 - y_hat) * log(1 - sigmoid(y))

Class_balanced_sigmoid_cross_entropy:

-β*y_hat* log(sigmoid(y)) -(1-β) * (1 - y_hat) * log(1 - sigmoid(y))

 

其中,|Y-|为非边缘的label,|Y+|为边缘的label

β = |Y-|/|Y|

1 - β = |Y+|/|Y |

 

最终,论文实现了BSD500 dataset (ODS F-score of :782),NYU Depth dataset (ODS F-score of :746) ,gpu:0.4s,cpu:12s的state-of-the-art结果。

 

 

 

References:

https://github.com/s9xie/hed

 

 

 

你可能感兴趣的:(边缘检测)