A Simple Pooling-Based Design for Real-Time Salient Object Detection（2）

PoolNet
因为高层的丰富的语义信息可以帮助显著目标的定位，底层和中间层的特征对于提高coarse level to fine level的特征提取是有必要的。我们提出了两个模块来精确的捕获显著目标的位置同时凸显细节信息

• overall Pipeline
  以自顶向上的方式在top的地方建立一个GGM，每一level都聚合来自GGM提取的高层语义信息，可以明确不同特征层的显著性目标的位置，GGM之后，进一步使用FAM确定无缝或者不间断的将各scale的feature map可以很好地merge。

• global guidance module
  FPN是组合分类基本网络多层 feature的基本结构。然而建立在自底向上的backbone的自顶向下的U-shape结构通常会使得高层的语义信息往底层传递的过程中逐渐稀释掉。一般实验上cnn在深层的感受野都比理论上的小，所以整个网络的感受野不足以捕获到输入图片的全局信息。为了解决自顶向下的方式进行fine-level的映射缺乏的语义信息，我们设计了这种包含PPM和GGFs（全局指导流）的GGM，是的每个层的特征图可以意识到显著性目标的位置。
  进一步，PPM有四个子网络捕获输入图像的语义信息，第一层和最后一层分别是identify mapping和global average pooling，中间的两层是自适应的平均池化来保证输入的特征图空间尺度分别为33和55，PPM就是要我们如何用自顶向下的方式保证PPM 产生的全局指导信息可以在不同的层合理的融合。
  FAM
  特征整合模块也是使用了池化技巧的模块，如上图，先把 GGM 得到的高层语义与该级特征分别上采样之后横向连接一番得到 FAM 的输入 b，之后采取的操作是先把 b 用 {2,4,8} 的三种下采样得到蓝绿红特征图然后 avg pool（平均池化）再上采样回原来尺寸，最后蓝绿红紫（紫色是 FAM 的输入 b）四个分支像素相加得到整合后的特征图。

与之前的工作不一样的地方是，我们将PPM作为u-shape结构的独立的一部分，全局指导流可以很容易的将高层的语义信息传递到各层的特征图上，增加了全局指导信息在每个部分的权重，保证位置信息不回被稀释掉。

• feature Aggregation Module
  GGM可以传递高层的语义信息到各层，但是如何将coarse-level的特征图与不同scale 的特征图无缝的合并呢？upsample rate为8，所以需要缩小GGFs和各层特征图的差距。
  我们提出了一系列的特征聚合模块，每个都包含四个子网络，前向传播的过程中，输入的特征图通过平均池化和变化的下采样率会转换成不同尺度空间，不同子网络的下采样的特诊图在3*3的卷积层得到聚合。
  通常来讲，FAM有两个优点，首先 可以帮助模型减少上采样的不利影响。另外可以允许每个精简位置可以查看不同尺度的空间的局部上下文信息，进一步扩大整个网络的感受野。总是，FAM可以减小上采样的混叠效应的影响。
  
  
  
  FAM指导的feature map可以更好的捕获到显著目标。FAM多次允许我们的网络更好地锐化突出物体的细节。
  Joint training with Edge detection
  我们的模型已经取得很好的结果，但是观察模型产生的显著性目标，我们发现，很多不精准的预测都是由模型产生的不清晰的边界导致的。
  首先，我们尝试增加额外的预测分支估计显著目标的边界，在FAM后的三个特征level增加residual block，对于信息传递是有效的。
  训练的时候，还增加了显著目标的边界作为gt来训练，然而这样并没有使得性能得到提升，一直缺少布标边界的细节信息。
  
  因为前景和背景的低对比度，导致了saliency map和boundary map一周都是模糊不清的，并且其原因可能是由突出物导出的真值边缘图仍然缺乏突出物的大部分详细信息。他们可以很好地告诉我们超出边界的显著目标的。特备是显著目标中间的重叠。考虑以上信息，使用了相同的边界检测数据集，将边界检测加入联合训练，选择显著目标检测数据集和边缘检测数据集中的一个，大大提高了显著性目标检测的细节。
  experimental results

• 数据集和损失函数
  
  

• 实验结果
  
  FAM中的池化可以扩大整个网络的感受野。解决了上采样的混叠效应（aliasing effect）