Deep Saliency:Multi_Task Deep Neural Network Model for Salient object detection

摘要

重要的问题：如何以数据驱动的方式有效地建模显著性对象的语义属性。

提出了基于具有全局输入（全原始图像）和全局输出（全显着图）的完全卷积神经网络的多任务深度显着性模型。

提出的显著性模型采用数据驱动策略对潜在显着性先验信息进行编码，然后建立多任务学习方案，探索显著性检测与语义图像分割之间的内在相关性。通过这两个相关任务的协作特征学习，共享完全卷积层产生有效的物体感知特征。

它能够利用全卷积层捕获不同层次的显着物体的语义信息。从而大大减少了特征冗余，从而研究了显著物体检测的特征共享特性。

最后，我们提出了一个图形拉普拉斯正则化非线性回归模型的显着性细化。

实验结果证明了我们的方法与最先进的方法相比的有效性。

1.introduction

显著性物体检测旨在自动发现和定位与人类感知一致的视觉兴趣区域。

从人类感知的角度来看，图像的语义属性通常以同一场景中的对象及其上下文为特征。

高层次的信息与对象的识别，分割以及对象之间固有的语义交互以及背景相关联。

如何在一个统一的学习框架中有效地建模上述因素是解决显著对象检测问题的关键和挑战。

这些模型必须精心设计，以适应不同类型的图像数据与各种各样的对象及其上下文相互作用，从而使它们不适用于实践中的广泛问题。

通过对这两个相关任务进行协作特征学习，提取出判别特征，有效地对目标感知信息进行编码。

此外，我们进一步发展了一个图形拉普拉斯正则化非线性回归方案的显著细化。以生成一个细粒度的边界保留显著图。

贡献总结：

1）提出了一种基于多任务FCNN的方法来以完成数据驱动的方式来模拟显着对象的内在语义属性。所提出的方法针对两个相关任务（即显著性检测和语义图像分割）执行协作特征学习，这通常导致对象感知中显著性检测的性能提高。而且，通过全卷积层有效提高了显著物体检测的特征共享能力，大大降低了特征冗余。

2）提出了一种基于图拉普拉斯正则化非线性回归的细粒度超像素驱动显著性求精模型，并将其与FCNN模型的输出结果进行了比较。该模型承认了以这种封闭形式的解决方案，能够准确地保留物体边界信息的显著性检测。

2.related work

我们的突出目标检测方法的插图。 首先，完全卷积神经网络将整幅图像作为输入，通过捕捉不同层次上显着对象的语义信息来预测显着图。 其次，拉普拉斯正则化非线性回归方案基于超像素图来生成细粒度的边界保持显着图。

有几种方式视图利用背景先验信息在空间结构图中执行标签传播过程。我们不用实现手动假设这些先验知识，而是以完全数据驱动的方式自动学习先前的知识。

1）网络结构（network architecture）

共享卷积层。旨在跨不同语义级别提取输入图像的特征集合。

2）对象分割任务（object segmentation task）

应用一个1*1的卷积核来计算分割分数图。为了使输出图片和输入图片具有同样尺寸，用到了逆卷积。（FCN net）

在训练期间更新反卷积层的参数以学习上采样函数。

3）显著性检测任务（saliency detection task)

从图像中找到有趣的物体。我们用一个卷积层和一个反卷积层产生显著性图。用sigmoid函数标准化

。

第一个与分割任务的交叉熵损失项相关联，而第二个成本函数对英语显著任务的平方欧几里得损失项。

C.规则化回归精华（Regularized regression for refinement）

为了很好的保留显著与的物体边界，我们利用了内部均匀和边界保留的超像素作为基本表示的单元，然后构造一个超像素级邻接图来模拟超像素见的拓扑关系，在空间和特征方面。更具体地说，给定图像首先被过分割成一组超像素，每个超像素由lab颜色矢量表示。（获得通过平均超像素内的逐像素颜色特征）。

D.产生显著性图（generating saliency map）

根据一个图像，显著图根据四个阶段计算：1）通过FCNN来物体感知。2)超像素图内的图像边界信息传播。3）粗粒度显著信息融合。4）基于非线性回归传播的细粒显著图生成。

4.实验结果

为了评估所提出的方法的性能，我们在八个基准数据集上进行了一系列定性和定量试验，所述八个基准数据集使用像素方式的地面真值标注。

1）初始化参数,使用共享的全卷积部分，用预训练好的VGG16层网路结构。

2）初始化参数，（用在分割任务）（用在显著性任务）从正态分布随机。

3）基于，利用SGD去训练分割相关网络去更新这两个参数。结果为：。

4）用，用SGD去训练显著性相关网络去更新参数。结果。

5）基于，用SGD去训练分割相关网络得到。

6）用，用SGD去训练显著性相关网络更新参数，得到。

7）迭代3）-6）步骤。得到最终的参数。在实践中，交替训练过程在实验中重复三次，通常得到相对稳定的性能。

B.评估指标

C.最新的性能比较

D.提议方法分析

1）FCNN的训练策略：我们提出了如何在我们的显著性检测算法中生成FCNN训练数据的细节。

用到三种不同的方法产生训练数据：1）其中一个是一退休战略，二是基准参考战略，第三个是小训练集。