Bifurcated Backbone Strategy for RGB-D Salient Object Detection

Bifurcated Backbone Strategy for RGB-D Salient Object Detection

RGB-D显著目标检测的分叉主干策略

ECCV2020

---

一、Motivation

当多级特征遇到多模态特征时，很难去聚合最优特征 和 学习多模态策略

---

二、Solution

作者利用 RGB-D 显著对象检测固有的多模态和多级特性来设计一种新颖的级联细化网络。

分叉主干策略（BBS）将多级特征重新组合为教师和学生特征。其次，我们引入了深度增强模块 (DEM)，以从通道和空间视图中挖掘信息深度线索。然后，RGB和depth模态以互补的方式融合。

---

三、Bifurcated Backbone Strategy Network (BBS-Net)

阶段 1：交叉模态教师特征 首先由级联解码器 (a) 聚合以产生初始显着图 S1。

阶段 2：交叉模态学生特征 由初始显著图 S1 细化，并由另一个级联解码器集成以预测最终显著图 S2。

3.1 Bifurcated Backbone Strategy (BBS)

 分叉骨干战略 (BBS)。它将多级跨模态特征分为两组，即G1 = {Conv1，Conv2，Conv3} 和G2 ={Conv3，Conv4，Conv5}，其中Conv3是分裂点。

3.1.1 Cascaded Refinement Mechanism.（级联细化机制）

该网络利用两组特征的特性（即G1和G2），高级特征包含丰富的语义信息，有助于定位显著对象，而低级特征提供微观细节，有利于细化边界。

BBS网络包含两个级联解码器级：

（1）第一个级联解码器CD1集成跨模态教师特征以预测初始显著性图S1。

（2） 学生特征通过与初始显著性映射S1的元素相乘来细化，消除学生特征中的噪声，然后通过另一个级联解码器CD2聚合以生成最终显著性映射S2。

具体：首先合并 DEM 处理的 depth和RGB 特征，以获得跨模态特征 。阶段1：三个跨模态教师特征（即 fcm 3 、 fcm 4 、 fcm 5 ）由第一个级联解码器聚合，表示为：

阶段2：我们利用初始显著图 S1 来细化三个跨模态学生特征，其定义为：

 其中 表示细化特征，表示逐元素乘法。

之后，三个细化的学生特征由另一个解码器聚合，然后是一个progressively transposed module逐步转置模块（PTM），其公式为：

 S2 表示最终的显著图，T2 表示 PTM模块。

---

3.1.2 Cascaded Decoder.（级联解码器）

级联解码器来集成两组多级跨模态特征。

级联解码器由三个three global context modules（GCM）和一个简单的特征聚合策略组成。

3.2 Depth-Enhanced Module (DEM)

DEM模块包含顺序通道注意操作和空间注意操作，公式为：

通道注意力

 每个特征图全局最大池化，两层感知机，元素相乘

空间注意力

沿通道图的每个点全局最大池化