读书笔记：Bi-Directional Cascade Network for Perceptual Edge Detection

目录

摘要

1.介绍

2.相关工作

3.方法

3.1公式

3.2BDCN的架构

3.3网络训练

4.实验

4.1数据集

 

---

摘要

利用多尺度表示对于提高不同尺度对象的边缘检测至关重要。为了利用多尺度提取边缘，我们提出了一种全向级联网络（BDCN）结构，在该结构中，单个层由具有特定比例的标记边缘进行监督，而不是直接对所有CNN输出应用相同的监督。此外，为了丰富BDCN，我们引入了acale增强模块（SEM），以生成多尺度特征，而不是使用更深的CNN。这种新方法鼓励学习不同层中的多尺度表示，并检测其边缘，并按多尺度描绘边缘。该算法可以生成多尺度特征，而不是使用更深的CNN。它还可以生成具有分数参数的紧凑网络。

1.介绍

边界检查的目标在于提取对象的边界，保留图像的边界信息，忽略不重要的东西，现在有很多方法确实做得很好了，但是也有很多问题需要去研究，比如

，

一个人的边缘，手部的轮廓和头部的轮廓尺度就不一样，手弯弯曲曲很小，这样的边缘很难学习；但头部或者身体，就很宽很大，很好学习。那么如何解决多尺度问题就是边缘提取的重点。为了解决这个问题有人有人使用超深层神经网络结构，但是带来了大规模参数训练困难、耗时多、成本高的问题，有人采用图像金字塔与多级特征融合的方法，同时带来了冗余计算的问题。除网络结构问题外，还有训练策略的问题，在一定程度上都影响了最终的准确率。为了解决这些问题，作者就提出了一种双向的(bi-directional)级联网络结构，每个层的输出都被一个特定尺度的边缘label监督，这个特定尺度是网络自身学习到的。为了增强每个层输出的特征，使用类似ASPP结构的SEM模块产生多尺度特征。最后的输出是很多多尺度特征的融合。

2.相关工作

3.方法

3.1公式

由于分辨尺度的不同，将结果集Y分为S个部分，那么，人为的找到分辨率的尺度明显不现实，作者提出了用深度神经网络自己学习特定层的特定尺度，规定Ns是第S个卷积层的输出特征图，Ds是用于提取Ns的边缘的，Ps​=Ds​(Ns​)，那么第S层的损失函数为，那么问题来了，Ys怎么求，作者提出了一种可能的解，那就是用结果集Y和除第s层以外的所预测的结果来求近似解，其公式为，但是，这个公式好像也有点毛病，作者指出根据，对任意的s，损失L对Ps求导都相等，即，这就相当于用了同一样的尺度去监督每一层，这和没有优化有啥区别，作者为了解决这个问题设计了一个新的算法，他的表示是这样的，将Ys 再分解为两个互补的监督。其中一个忽略比s尺度更小监督，另一个忽略尺度比s大的监督。在计算，忽略(i，忽略（i>s），对于第s层来说，由前一层获得输入计算结果记为 ，由后一层所得输入计算结果记为，对于尺度s，和分别近似于与，所以，和之和是Ys的合理的近似解，公式表示为

3.2BDCN的架构

上图的网络由多个ID块组成，每个ID块都可以学习具有双向级联结构推断的不同监督，以VGG16结构为基础，去除其三个全连接层和最后的池化层，并将15个卷积层分为5部分，每部分续接一个池化层以扩大下一个block的感知区域，在每个卷积层下插入一个SEM，每个ID Block中的各个SEM所得输出进行融合并进行两个不同的1×1的卷积运算分别得出和。

    在一个Scale Enhancement Module中，以一个输入二维特征图为例与卷积过滤器进行扩张卷积运算，得到的输出位置在（i，j）的位置的计算公式为，其中r是扩张率，表示样本输入特征图的采样步幅。 标准卷积可以是视为r = 1的特例。

对于每个SEM，应用具有不同扩张率的K扩张卷积。对于第k个扩张卷积，我们将其扩张率设置为，这在SEM中涉及两个参数：扩张率因子r0和 卷积层数量k。两参数评估结果见原文。

3.3网络训练

根据本文所设计的网络结构双向级联的特点，在训练过程中，每层的两个预测值和对应着两个不同版本的supervisions，将各层输出融合得到最终结果，因此有3个损失函数为

其中和分别是侧面损失和融合损失的权重。 表示最终边缘预测。针对输出结果中，边缘\非边缘像素的分布不均匀的问题，采用class-balanced cross-entropy loss计算损失。而对于edge/nonedge pixels的区分方法是设定阈值 
，因此有一个公式：

4.实验

4.1数据集

作者一共使用了BSDS500，NYUDv2，Multicue，PASCAL VOC Context dataset，其中BSDS500一共包含200张的训练集，100张验证集，100张测试集，NYUDv2一共包含381张训练集，414张验证集，654张测试集，Multicue用80张训练，20张测试。 

	threshold y	λ	batch size	initial learning rate	momentum	weight decay	learning rate decreases	iterations
BSDS500	0.3	1.1	10	1e−6	0.9	2e−4	10time after10k	40k	0.5	1.1
NYUDv2		1.2	同上	同上	同上	同上	同上	同上	同上	同上