图像篡改痕迹检测：Adobe双流Faster R-CNN网络

为了检测图像是否被篡改，Adobe在最近的论文中提出了一种双流Faster R-CNN网络，对图像进行端对端的训练，检测经过处理图像中被篡改的区域。
双流中的一个流是RGB流，用于从RGB图像输入中提取特征，通过对比度差异、不自然边界等找出篡改的痕迹。另一个流是噪声流，利用SRM(steganalysis rich model）模型的过滤层中提取噪声的特征，找出图像中真实区域和被篡改区域的噪声间的不一致。然后将从RGB流和噪声流中提取的特征用一个双线性池化层整合来进一步改进两种模式的空间共线性(spatial co-occurrence)
Faster R-CNN网络整体结构如下图：

网络中的各部分为：
（1）RGB stream input：也就是RGB流输入；对可见的篡改痕迹（例如：物体边界经常出现的高对比度）进行建模，并将边界框（bounding boxes）回归为ground-truth
（2）SRM filter layer：SRM 过滤层；提取噪声 feature map，然后利用噪声特征提供图像处理分类的附加依据；
（3）Noise stream input：噪声流输入；分析图像中的局部噪声特征，先让输入RGB图像通过一个 SRM 过滤层
（4）RGB Conv Layers：RGB 卷积层
（5）Noise Conv Layers：噪声卷积层
（6）RGB 流和噪声流共用 RPN 网络生成的 region proposals，RPN 网络只将 RGB 特征作为输入。Faster R-CNN 中的 RPN（Region Proposal Network）负责 propose 可能包含相关目标的图像区域，其经过改造后可以执行图像处理检测。
（7）RPN layer：RPN 层
（8）RoI pooling layer：Rol 池化层；从 RGB 流和噪声流中选择空间特征；
（9）RGB RoI features：RGB RoI 特征
（10）Bilinear pooling：双线性池化
（11）Noise RoI features：噪声 Rol 特征
（12）预测边界框（表示为‘bbx pred’）是 RGB Rol 特征中生成的。为了区别被篡改和未被篡改的区域，我们利用从 RGB 通道中提取的特征来捕捉线索，例如：被篡改边界视觉上的不一致，被篡改区域和真实区域间的对比效应等
（13）在完成 Rol 池化后，网络的线性池化层将整合从 RGB 流和噪声流中分别提取的空间共现特征
（14）最后，将所得结果输入到一个全连接层和一个 softmax 层，网络生成预测标签（表示为‘cls pred’)）并确定预测边界是否经过处理
第二个流背后，当源图像中移除一目标并将其粘贴到目标图像时，源图像和目标图像的噪声特征是不匹配的，但如果用户对目标图像进行压缩，就可以掩盖这些特征的差异。
为了利用这些特征，可以将RGB图像转换为噪声域(noise domain), 然后将局部噪声特征作为第二个流的输入。这里选用了SRM过滤器核（SRM filter kernels）来生成噪声特征，然后将SRM过滤器核作为第二个Faster R-CNN的输入通道。
对RGB流和噪声流中提取的特征进行双线性池化，然后每个Rol池化层将依据这两个流提取的特征检测篡改痕迹。

reference：https://www.theverge.com/2018/6/22/17487764/adobe-photoshopped-fakes-edit-spotted-using-machine-learning-ai

http://openaccess.thecvf.com/content_cvpr_2018/papers/Zhou_Learning_Rich_Features_CVPR_2018_paper.pdf