论文笔记(图像篡改检测_CVPRW2019)（二）：RRU-Net: The Ringed Residual U-Net for Image Splicing Forgery Detection

论文地址：http://openaccess.thecvf.com/content_CVPRW_2019/html/CV-COPS/Bi_RRU-Net_The_Ringed_Residual_U-Net_for_Image_Splicing_Forgery_Detection_CVPRW_2019_paper.html

论文中，作者提出了一个用于拼接检测的环形残差网络。此网络是一个端到端的image essence attribute segmentation network，没有额外的预处理或后处理操作。这个RRU-Net的核心思想是强化CNN的学习方式。在此网络中包含residual propagation和residual feedback，residual propagation主要用于解决深度网络中梯度退化问题；residual feedback使篡改区域和非篡改区域的差异对比更加明显。

Motivation：

作者认为传统的基于CNN的方法使用image patch作为网络的输入，可能会丢失掉许多上下文信息，这会造成一些错误的预测。当网络的层数加深时，梯度退化问题会出现而且特征之间的可辨别性会变弱，这也使检测更加困难。

针对上述这些问题，作者提出了一个环形残差U-Net。这是一个端到端的图像分割网络，独立于人类视觉系统，可以直接定位篡改区域。更进一步，该网络通过充分利用contextual spatial information可以有效减少误预测。该网络可以有效加强CNN的学习方式并且避免随着网络的加深而出现的梯度退化问题。

How and Why:

之前基于U-net的检测方法，虽然U-net网络各层可以提取出之间一些相对shallow discriminative features，但只有U-net结构两侧的相互作用，仍然不足以充分确定拼接区域。

1.Residual Propagation

image essence attribute之间的差异是拼接检测的基础，而梯度退化现象会对此造成影响，从而使误检率上升。在这里，作者借鉴了Resnet中的shortcut在U-net中引入了这种连接方式，building block如下图所示：

                                              

                                                                       

如上图中，一个block中包含两个卷积层，最后接一个Relu激活函数。。是一个线性变换，使前后两项维度相匹配。是通过shortcut连接和逐元素相加实现的。

作者认为这种残差传播过程与人脑的recall机制十分相像。如当一个人学习新知识时可能会忘记之前的旧知识，这时就需要recall机制帮助我们唤起对旧知识的记忆。

2.Residual feedback

作者认为如果可以将篡改区域和非篡改区域之间的差异进一步放大的话，对于拼接检测十分有帮助。在RGN-N一文中，zhou使用SRM来进一步放大差异，但有一个缺点就是：篡改区域和非篡改区域来自相同的brand或model时，由于二者具有相同的noise分布，SRM filter的帮助将非常小。

为了解决这一个问题，作者提出了residual feedback来加强CNN的学习能力，这是一个动态的学习方法，而且不仅仅关注一个或几个特定的图像属性。更进一步，作者设计了一个attention机制，然后将其加在residual feedback上从而更加关注于输入信息中可辨别的特征。在这个attention机制中，作者选择了一个简单的带有sigmoid激活函数的gating mechanism来学习可辨别特征通道之间的非线性关系（同时避免特征扩散），然后将sigmoid的输出与输入信息相加去放大在篡改区域与非篡改区域之间的image essence attributes之间的差异。Residual feedback block的结构如下：

                                                         

                                                                               

G是一个线性映射，用来改变的维度，s表示sigmoid激活函数。

作者认为residual feedback与人脑的consolidation机制有些类似，consolidate我们已经获得的知识时也可以获得新的信息。

作者采用residual feedback放大特征之间的差异也可以看做是对负标签特征的一种抑制；此外这种连接有利于加速模型的收敛。

3.Ringed Residual Structure and Network Architectures

论文提出的RRU-net整体框架图如上。总体来说，环形残残差结构使网络提取出的image essence attribute特征更加明显。

结论 or 下一步：

Pixel level：

Image level: