pb base 64编码_图像ps检测,时间序列与编码解码结构

论文题目:Hybrid LSTM and Encoder-Decoder Architecture for Detection of Image Forgeries
论文地址: https:// ieeexplore.ieee.org/abs tract/document/8626149

(ppt已制作完成,聊天框输入“混合LSTM”)

解读

LSTMEnDec:cnn网络与长短时记忆网络相结合,双流结构(与双流faster类似),网络结构如下。

pb base 64编码_图像ps检测,时间序列与编码解码结构_第1张图片

输入图像一流送到cnn网络进行训练(encoder),结构是卷积、残差连接、最大池化提取空间特征图。另外一流把输入图像切分成64块,对块进行重采样,提取重采样特征送到LSTM网络得到8*8*Nf的特征(通道Nf=64)。之后两流特征融合再上采样(decoder),softmax输出预测结果。

创新点

1.将图像作为输入,利用图像的全局上下文再来进行切片操作。

2.双流分支结构,一流进行patch采样得到频域特征,另一流使用卷积进行编码得到空间特征,然后融合再解码(上采样)输出。

3.提出新的篡改数据集用于训练DRESDEN(40k)、NIST'16(25k)数据集未公布。

LSTM流

pb base 64编码_图像ps检测,时间序列与编码解码结构_第2张图片

切片的64块(32*32*3)小图像先进入resampling feature进行重采样,目的是找到可能的篡改区域。这里就使用到了Radon变换,首先用laplacian(拉普拉斯)滤波器得到patch的线性预测误差幅值,然后Radon用不同的投影角度把误差累加起来,这样就得到可能篡改区域的信息,最后输出是8*8*Nh(Nh=128)。

下图解释为什么使用Radon变换

pb base 64编码_图像ps检测,时间序列与编码解码结构_第3张图片

a、原图 b、绿框为真实位置,红框篡改位置 c、patch提取的框位置 d、Radon色谱图 e、Radon列求和

主要看e图,1、3为非篡改区域,2、4篡改区域,可以看到曲线峰值右侧2、4(篡改)曲线更平缓。这点可以作为可能的有效信息来找到篡改区域。

接下来特征将进入LSTM网络,但是在这之前作者又引入了hilbert curve,因为LSTM性能很大程度取决于patch排序。重采样得到的特征是多维的,空间信息多而冗余,使用希尔伯特曲线可以把多维空间转为一维并且能关联相邻块。

pb base 64编码_图像ps检测,时间序列与编码解码结构_第4张图片

hilbert curve 64

先分成四个大正方形,在每个大正方形里分4个小正方形,小正方形里再分4个单位正方形。线段通过调节曲线函数的参数能在小正方形里走到4个单位正方形其他地方,虚线代表与其他小正方形(块)的联系。

现在将正式把重采样特征喂到LSTM中,这里使用两个 stacked layers,64个时间步长,在每个时间步长的最后一层获得64尺寸特征向量,最后输出8*8*Nf特征(网上有原理讲解)。

Encoder流

pb base 64编码_图像ps检测,时间序列与编码解码结构_第5张图片

图像(256*256*3)喂到cnn中,依次卷积(卷积核3*3**d,d=32,64,128,256递增)、最大池化(步长为2,特征图缩小2倍)、残差连接,进行4次提取得空间特征图(此部分网络结构不难)。

两流融合上采样

pb base 64编码_图像ps检测,时间序列与编码解码结构_第6张图片

特征融合这里论文并没有怎么提(猜想应该是两个8*8的拼接)。Decoder部分也比较简单,上采样、卷积、标准化做了两次,最后接softmax(本质还是二分类,是或不是篡改)预测结果。

网络的训练实验部分,细节处论文说的很少,作者把重点放在介绍他们自己创造的数据集(然而提出的篡改数据集并未公布DRESDEN(40k)、NIST'16(25k),制作数据集参考论文)。

实验结果对比

评价指标使用像素级准确率(篡改语义)和AUC

pb base 64编码_图像ps检测,时间序列与编码解码结构_第7张图片

table2是篡改分类精确度,LSTM-EnDec是最终使用的网络,在LSTM-EnDec-Base基础上微调得到。数据集为nist16,ieee,coverage,论文提出的网络模型与其他比较效果最好。

table3是AUC在三个数据集上的得分,与其他8个模型比较结果均最佳。

模型局限

pb base 64编码_图像ps检测,时间序列与编码解码结构_第8张图片

1.当patch较小时(原图框较小),精度下降,篡改预测不准确(如图e、f中间列) 。

2.网络有时会判断错误,e图最后一列是非篡改区域,预测结果却是篡改区域。

文章同步公众号『深度学习框架点滴』

码字不易,给赞鼓励,我是休柏,向阳花开。

你可能感兴趣的:(pb,base,64编码)