新手图像篡改论文阅读

图像篡改论文阅读：RRU-Net: The Ringed Residual U-Net for Image Splicing Forgery Detection

一、动机

近年来，卷积神经网络在计算机视觉研究领域取得了巨大的成功。CNN的特征提取和映射给了一些研究人员一个启示，CNN也可以适用于完成图像拼接伪造检测，对于现有的基于CNN的检测方法，由于它们使用图像块作为网络的输入，因此纹理空间信息丢失，这容易导致不正确的预测。而且，当网络架构越深，梯度退化问题就会出现，特征的区分度就会越弱，导致拼接伪造检测更加困难甚至失败。
因此此方案提出了一种环形残差RRU网。RRU网是一种端到端的图像本质属性分割网络，它独立于人类视觉系统，无需任何预处理和后处理就能直接定位伪造区域。此外，RRU网络可以有效地减少不正确的预测，因为它更好地利用了图像中的上下文空间信息，最重要的是，RRU网络中的环状残差结构可以强化神经网络的学习方式，同时防止深层网络的梯度退化问题，保证了图像本质属性特征的区分更加明显，同时提取了网络各层之间的特征

二、结构介绍

1. U-net简要介绍
   

一个经典的图像分割网络，简要介绍流程，具体不在分析。
将输入进行2次33的卷积操作之后，进行一次22的最大池化，同时卷积核数目翻倍（1-64-128-256-512-1024），进行四次这样的down操作，然后2次3*3卷积，取一半的卷积核进行上采样（转置卷积），再剪切对应down层的feature map，和上采样得到的feature map拼接在一起，然后重复这样的过程。最后输出是深度为n_classes个feature map，进行分类。

图像拼接伪造检测可以看作是一个独立于人类视觉系统的复杂图像分割任务。我们需要分割出图像中大多数时间人眼无法分辨的篡改区域。定位篡改区域的唯一方法取决于图像本质属性的差异，这可以通过提取有区别的特征来发现。虽然该网络可以在网络的各层之间提取一些相对较浅的区别特征，但只有网络结构的两侧是相互作用的，这不足以确定篡改区域。除此之外，网络架构越深就会出现梯度退化问题

其实问题就两个，u-net网络仅仅是对称的来相结合，对于上下层的信息并没有很好的结合，同时，梯度退化在网络结构变深之后越发明显，因此这个网络主要就是解决了这两方面的内容。

2. 内部结构剖析

• Residual Propagation（残差传播）
  

图像本质属性的差异是检测图像拼接伪造的重要基础，然而，随着网络体系结构的深入，梯度退化问题将破坏这一基础。为了解决梯度退化问题，我们将剩余传播添加到每个堆叠层。图2中示出了一个构造块，它由两个卷积(扩张卷积，dconv)层和残差传播组成。构造块的输出定义为:

其中Ws是转变x维度的矩阵，使得可加，其中，F{x，{wi}}按如图所示是经过两个dconv和relu，因此，fx实际上就是

yf是通过shortcut连接和逐元素相加实现的
实际就是类似于res中的recall，帮助回忆之前的内容

• Residual feedback（残差反馈）

可以看出，在拼接伪造检测中，如果能进一步加强未篡改区域和篡改区域之间的图像本质属性差异，可以进一步提高检测性能。在之前的一篇双流rgb-n文章中，该方法将伪造图像通过 SRM滤波层获得的噪声流和rgb流通过rpn最后融合，增强检测结果。其中缺陷是只能用于 RGB 图像的伪造检测。此外，当未篡改区域和被篡改区域来自同一品牌和型号的相机时，SRM 滤波层由于具有相同的噪声属性，滤波效果会大大降低。为了进一步加强图像本质属性的差异，提出了残差反馈，更加关注输入信息的判别特征。在这个注意力机制,我们选择使用一个简单的带有sigmoid激活函数的选通机制来学习区别特征通道之间的非线性交互，并避免特征信息的扩散，然后我们将sigmoid激活获得的响应值叠加在输入信息上，以放大未篡改和篡改区域之间的图像本质属性的差异。

yf为残差传播的输出，然后通过一个g函数进行维度变换，在通过s激活函数，从而得到了加强的输入yb，这个操作可以放大输入中未篡改和篡改区域之间的图像本质属性的差异
作者采用residual feedback放大特征之间的差异也可以看做是对负标签特征的一种抑制；此外这种连接有利于加速模型的收敛。
最后实际作用如下：

残差传播就像人脑的回忆机制，回忆输入的特征信息，解决更深层网络中的退化问题；残差反馈整合了输入特征信息，使得未篡改区域和篡改区域之间的图像本质属性差异被放大。综上所述，环状残差结构保证了图像本质属性特征的区分更加明显

3. 评估
   数据集使用CASIA 和 COLUMB
   将训练和验证集中的图像大小调整为384 × 256，然后使用随机高斯噪声、JPEG压缩和随机翻转来执行数据增强，这使得两个数据集的容量增加了四倍。
   
   继续测试可得如下结果：