分析显著性目标检测之Progressive Feature Polishing Network for Salient Object Detection

摘要

现有的方法主要集中在设计一个复杂的结构来包含多层次的特征，并过滤掉杂乱的特征。我们提出了渐进特征修正（polish）网络(PFPN)，一个简单而有效的框架，逐步修正多层次的特征，使其更加准确和有代表性。通过反复使用多个特征修正模块，该方法能够在不进行任何后处理的情况下检测出具有精细细节的显著目标。AFPM通过直接合并所有更高层次的上下文信息，并行地更新每一层的特征。此外，它可以保持特征图的维度和层次结构，这使得它可以灵活地与任何基于cnn的模型集成。实验表明，随着FPM数量的增加，我们的结果单调地变好。在不同的评估指标下，PFPN在五个基准数据集上的性能显著优于最先进的方法。

网络概述

1. 作者提出了一种新的多层表示法改进显著目标检测方法，以及一个简单和整齐的框架PFPN，以循环方式逐步“打磨”（细化‘polish’）特征。
2. 对于每一个抛光步骤，我们提出FPM来细化表示，它保留了特征图的维数和层次结构。它将高级语义信息直接集成到所有低级特征中，避免了长期依赖问题。

网络详解

网络模型

作者提出了渐进特征细化网络(PFPN)的显著目标检测。该体系结构的概述如图2所示。模型由四种模块组成:主干模块、两个过渡模块™、一系列T特征抛光模块(FPM)和融合模块(FM)。

1. 为了降低特征维度和保持实验整洁,这些特征图谱传到第一过渡模块(图2)TM1，每一层的特征都被平行地转换为相同数量的维度；
2. 在得到相同维数的多层次特征图后，对这些特征依次进行T特征细化模块(FPM)，使其逐步改进，在每个FPM中，将高级特征直接引入到所有低级特征中，对低级特征进行改进，这种方法比间接的方法更有效，也显著减少了信息损失；
3. 然后利用第二个过渡模块(图2中的TM2)，它由一个双线性上采样和一个1x1卷积组成，将所有特征插值到原始输入分辨率，并将它们的维数降至32；
4. 最后，利用FM融合模块对多尺度特征进行融合，得到最终的显著性图。

Feature Polishing Module

对N张特征图F = {f_i,i = 1，…，N}， FPM也会生成N个具有相同的大小的抛光特征映射Fp = {F_i^p,i = 1，…，N};FPM由N个并行的FPM块组成，每个块对应一个单独的特征图记为FPM-k。具体来说，采用了从深侧到浅侧的一系列短连接(Hou et al. 2017)；最终，将具有全局信息的高级特征直接注入低层特征，有助于更好地识别突出区域。

以FPM1-3为例，利用Res-3、Res-4、Res-5的所有特性通过短连接来更新Res-3的特性。FPM还可以利用剩余的连接(heetall .2016)来更新特征并逐渐过滤掉杂乱的信息；FPM-k块的实现正式表述为Eq. 1:
对于每层的FPM， 接受N−k + 1个特征图，即{f_j, j = k,…, N}。对于特征图 f_j，首先使用3x3内核的卷积层，然后通过批处理归一化和ReLU非线性来捕获上下文知识，并将其双向的插值入大小与f_k。然后将这些特征沿着通道进行拼接，并通过1x1卷积层进行融合来降维，得到p_k，最后将p_k作为残差函数更新原始特征图 f_j，用元素加法计算f_k^p 。图3给出了一个k = 3的例子:

Fusion Module

融合模块：利用融合模块(FM)对多层次特征进行融合，检测出显著目标。由于我们改进的功能，FM可以相当简单。如下图所示，首先将来自TM2的多层次特征连接起来，然后将其输入到具有3x3内核的连续两个卷积层中。最后，利用1x1卷积层和s型函数得到最终的显著性映射。

损失函数

作者利用最终预测的显著性映射和地面真值之间的交叉熵损失来对模型进行端到端训练。旁边的输出也用于计算辅助损失。在融合模块之前，对多层特征图进行1x1卷积层，得到一系列中间结果。损失总额如下:

其中s为模型的最终结果，s_i为第_i个中间结果，g为真值。

实验结果

对比

f曲线以Precision和Recall的加权组合计算，公式如下:

表1显示了MAE和F-measure的比较：

在图4中，比较了5个数据集上不同方法的PR曲线和F-measure曲线。可以看到，作者的方法的PR曲线比其他方法表现出更好的性能，并有很大的边际。此外，此方法的f -测度曲线定位始终高于其他方法。这验证了该方法的鲁棒性：

图5显示了作者的模型的一些示例结果以及其他六种最先进的可视化比较方法。可以观察到，该方法在复杂背景(第1-2行)和低对比度场景(第3-4行)中给出了优越的结果。还有精心设计的细节(第5-6排，注意金门大桥的悬索和螳螂的腿)。通过比较，作者的方法在面对这些挑战时表现良好，并且生成了更好的显著性映射：

烧蚀研究

表1（上文）显示了与其他基于VGG的最新方法的比较，表2显示了对各种FPMs的评估：
细化特征模块（FPM）。为了证实所提出的FPM的有效性，通过改变FPM的数量来进行烧蚀评估。在ECSSD和DUTS-TE上T从0到3的结果如表2所示。对于T = 0，两个过渡模块直接连接，不使用FPM，对于T > 0，在两个过渡模块之间使用T次FPM，如图2（上文）所示。
同时研究了DenseCRF对我们方法的影响（下表）：

细化特征可视化：对细化（polish）特征的过程有一个直观的理解。因为直接可视化中间特性并不直接，所以用不同数量的FPMs比较模型的结果。图1和图6给出了几个显著性图示例。可以看到，随着FPMs数量的增加，预测的显著性图的质量单调地变好，这与表2中的定量结果一致。具体来说，T = 0的模型可以粗略地检测出图像中显著的目标，这得益于多层特征图丰富的语义信息。随着更多的FPMs被使用，更多的细节被恢复并且杂乱的结果被消除。特征抛光可视化:

总结

作者提出了一种新的渐进特征细化网络（PFPN）用于显著目标检测。PFPN专注于通过不断改进特征的方式来提高多水平的表现。在细化步骤中，FPM被设计成直接整合高水平语义概念和低水平特征，减少了信息损失。虽然PFPN的整体结构非常简单和整齐，但经验评价表明，在不同的评价指标下，该方法在5个基准数据集上显著优于16种最新的方法。