2019.2总结（重采样、JPEG重压缩、copy-move检测、篡改检测）

BusterNet: Detecting Copy-Move Image Forgery with Source/Target Localization

图像篡改方法主要包括copy-move、splicing、remove三种，这篇文章针对copy-move篡改检测（CMFD），提出了一种端到端训练的网络架构——BusterNet。此网络可以产生能够用于取证分析源和目标manipulation mask。

如上图所示，这个网络主要包括两个分支和一个融合模块。其中，Mani-Det分支可以检测篡改区域；Simi-Det分支用于检测克隆区域；最后在通过融合模块去预测copy-move masks McX 。此外，作者还为每一个分支定义了一个辅助任务以确保每个分支都能达到预期的效果。具体而言，Mani-Det分支预测manipulation mask MmX ，Simi-Det分支预测binary copy-move masks MsX ，这两个mask都可以从主网络得到的McX 派生出来。

这篇文章的提出的网络不仅可以检测出copy-move篡改，也可以生成源和目标mask，这是之前用于CMFD的方法所无法做到的。网络中的CNN Feature Extracter提取出的特征对于整个网络的性能十分重要，使用不同的提取器提取出来的特征都不大相同，最后得到的检测结果也有所不同。在文中，作者使用VGG16的前四个模块用于特征提取。

 

Exploiting Spatial Structure for Localizing Manipulated Image Regions

作者认为在篡改区域和非篡改区域的边界处存在差异化的特征，通过提取这些特征可以很好的将篡改区域和非篡改区域区分开。为了利用这种特征，作者提出使用CNN-LSTM的混合模型。如下图所示，该模型主要包括五个卷积层和一个有三个stacked layers的LSTM。

该模型首先从图像中提取patch，然后使用前两个卷积层提取低级特征（这些特征对于识别篡改区域十分重要）。然后使用LSTM网络学习不同块之间的边界变换，产生可以表示块之间相关性的特征。最后使用剩余的三个卷积层学习边界变换特征与被篡改像素之间的映射关系，根据置信度分数进行patch分类和生成manipulated mask。

这个模型的创新之处在于利用了patch分类和分割之间的相互依赖性提高准确率，并且适用于不同的篡改操作。

 

Double JPEG compression forensics based on a convolutional neural network

Luke和Fridrick认为双重JPEG 压缩会使在DCT直方图中出现双峰的统计特性。Popescu认为在DCT直方图中存在周期性伪影。作者在此基础，提出基于CNN的双重JPEG压缩检测算法。使用图像的DCT系数的直方图作为输入，利用CNN学习特征、进行分类，最后基于分类结果进行定位。主要框架如下:

作者针对不同的QF1、QF2组合进行了实验，发现当QF1>QF2时也表现出了较好的性能。但是，在文中，作者仅使用UCID数据集进行训练和测试，没有针对更多的数据集进行实验。此外，作者只针对不同的QF2构建了分类器，并没有考虑到QF1，然而不同的的QF1对应的直方图并不相同。

 

Localization of JPEG double compression through multi-domain convolutional neural networks

这是在2017CVPR上发表的一篇论文。论文主要考虑的是单或双重JPEG压缩检测问题。针对这一问题，作者同时考虑时空域和频率，提出的一种多域神经网络。其中，基于空域的CNN分支使用RGB图像作为输入；基于频域的CNN分支使用DCT系数的直方图作为输入。文中提出的多域神经网络将从两个分支提取出的特征连接在一起，同时利用从两个不同域学习到的特征进行压缩检测。

其中，基于频域的CNN使用的是Wang Qing2016双重JPEG压缩一文中的模型。本文作者在Wang所提出的模型的基础上，加入空间域的信息，进一步提升了检测的准确性。

 

Detection and Localization of Image Forgeries using Resampling Features and Deep Learning

这是2017CVPR Workshop上的一篇文章，文章提出使用重采样特征和深度学习的方法进行篡改检测。

数字图像成像时要经过模拟信号处理、数字图像处理。其中，模拟信号处理包括镜头偏移、CFA插值等；数字图像处理包括去马赛克、重采样等。而对于不同的图像来说，重采样程度是不同的，如果图像经过篡改，必然会导致篡改位置重采样率的差异。

文中主要提出了两种基于重采样特征和深度学习的方法进行篡改检测。第一种方法：首先从重叠的图像patches中计算重采样特征的Randon transform；然后使用深度学习分类器和高斯条件随机场模型来产生热图；对热图进行处理，使用它生成图像级别的检测分数和二值定位map，从而对篡改区域进行提取。

对于大多数的篡改图像来说，在篡改边界和非篡改边界存在差异性的特征。而对图像进行重采样操作时，由于插值会引起像素之间的周期性相关。鉴于这两点，作者提出利用重采样特征和LSTM网络来定位篡改区域。在这种方法中，作者直接将从重叠块提取出来的重采样特征直接送入LSTM网络，从而产生Patch label。

文中提出的两种方法都是独立进行的，作者并没有对这两种方法进行对比，也未尝试将二者进行组合，观察是否能够使模型的检测能力进一步提升。

 

ON THE ROBUSTNESS OF CONSTRAINED CONVOLUTIONAL NEURAL NETWORKS TO JPEG POST-COMPRESSION FOR IMAGE RESAMPLING DETECTION

这篇文章主要介绍了Belhassen Bayar在其16年的一篇文章的基础上提出的一种自适应地从数据中学习重采样检测特征的方法。

作者认为传统的CNN主要提取与图像content相关的特征，而且使用预先确定的prediction error模型来识别重采样伪像，最终得到的用于检测的特征可能无法捕获重采样留下的所有痕迹。因此，作者使用其先前提出的constrained convolution，这种卷积层可以抑制图像的内容并且提取prediction residual特征。在网络中，作者使用其去捕获像素值之间的依赖性和学习由于重采样操作产生的预测误差中与周期性相关的特征。

如上图所示，在整个网络中作者使用了四个不同的块。首先，作者使用了constrained卷积过滤器进行预测错误特征提取；接着，用三个卷积层去提取层次特征；再然后，使用一个包含1×1卷积过滤器的块去学习不同feature map之间的关联；最后，使用分类模块进行分类。

有一个比较困惑的地方就是，作者并没有选择将整个图像patch输入到网络中，仅仅使用了图像patch的绿色通道。关于这一点，文中并没有给出详细的说明。