论文结构化简译New CNN-based Predictor For Reversible Data Hiding
本文改进了一个经典prediction-error expansion(PEE)方法中的部分步骤，借此篇文章简述其核心改动。
PEE算法属于reversible data hiding(RDH)，即可逆信息隐藏算法的一种。先①简介RDH算法中的门类，然后②介绍PEE算法及最近的研究成果，最后③介绍算法的核心改动、模型训练好后完整RDH算法的过程④以及算法的一些提升，最后作出⑤总结。
（如果对RDH和PEE算法有基本了解，可以跳过①、②，直接看本文核心部分③）
①RDH算法分类
1.Lossless compression[2]
2.Difference expansion(DE)[3]
3.Histogram shifting(HS)[4]
4.Prediction-error expansion(PEE)[5]-[9]
②PEE算法内容及近期研究成果
PEE算法可以分两个步骤：
1.Prediction stage
此阶段目的是对图像作出准确的预测。
改进方向为对图像作出更准确的预测。
2.Embedding stage
此阶段操作是修改获得的预测误差直方图(prediction error histogram)，以此嵌入秘密信息。
改进方向有两个，下面会说。
本文的创新在Prediction stage中。
1.Prediction stage
传统方法：
多使用临近像素来进行预测
方法有：
Difference predictor(DP)[3]
Median edge direction predictor(MEDP)[5]
Rhombus predictor(RP)[6]
Gradient adaptive predictor(GAP)[7]
Partial differential equation predictor(PDEP)[8]
Multi-predictor[9]
传统方法，由于locality和linearity的限制，减小预测误差(prediction-error)的能力有瓶颈。
预测误差：像素的预测值与实际值之间的误差(原文：The difference between the predicted value and the to-be-predicted value)。
于是，研究者在深度学习崛起，图像分类、目标识别等领域取得重大突破的背景下，改用CNN，力图实现预测性能的提升。
CNN方法：
研究近况：
Luo等人[10]：
提出了一个基于CNN的立体图像可逆信息隐藏方法。(Proposed a stereo image RDH method based on the CNN.)
Hu等人[11]：
提出了一个应用于灰度图像的CNN预测器。(Proposed a new CNN-based predictor(CNNP) for the grayscale images.)
上作的作者们还提出，由于CNN有多个感受域[12]，还能够进行全局优化，它在信息隐藏中还有更大的施展空间。(The authors claimed that since the CNN has the abilities of multi receptive fields[12] and global optimization, it can make more room for data hiding.)
Hu等人[13]：
改善了[11]中的图像划分策略，提出了一个性能更好的CNN预测器(CNN-based predictor,CNNP)。
2.Embedding stage
重复一下这个阶段的工作，那就是研究新方法来修改获得的预测误差直方图。(The researchers focus on designing some new rules to modify the obtained prediction error histogram.)
两个改进方向：
1.生成有效的直方图映射关系(Construct efficient reversible histogram mappping)
一维映射方法[4]-[9]（其中[6]的阶段方法被本文采用，以此结合成完整的RDH算法）
高维映射方法[14]-[16]
2.改善、发明新效的嵌入策略(embedding strategy)[17]
原理：
新的嵌入策略会选择嵌入效率更高(high embedding efficiency)的像素
③本文核心算法
本文的两处创新都在Prediction stage，即第一阶段。一处创新在预处理，另一处在CNN网络。
1.预处理
一般而言，预测一个像素时，选取的临近像素越多，这个像素就预测得越准确，即能获得更小的预测误差(prediction-error)。
[11]、[13]中的方法
[11]把每个像素的8个邻近像素分为了2组，用其中4个进行预测
[13]把每个像素的8个邻近像素分为了4组，用其中6个进行预测
(a) [11]中的像素处理方法 (b) [13]中的像素处理方法
▲代表用于预测的邻近像素
● 代表被预测的像素
本文方法
将图片分为不重叠的2*2小块，每个小块左上、右上、左下、右下分别标记为1、2、3、4，进而分为图像不同子块
、
、
、
。
用5*5的如下filter，即过滤器，来处理不同子图中的标记像素。
其中0所在位置与标记像素位置重叠，如对于即：
如此对每一个标记为1的像素进行处理，即对进行处理，得到
。然后结合其他部分，即进行
处理，得到图像记为
。
同理可得
、
、
等。
2.CNN网络
网络结构
训练过程
训练集为ImageNet[19]中3000张调整到512*512大小的图片。
将训练集中图片随机生成为、、或，再喂入CNN网络。
采用反向传播算法[20]和Adam优化器[21](Adam optimizer)。
损失函数为
其中
为CNN模型的参数，
是值为
的权重衰退。
CNN训练好后，投入整个算法的使用。
3.算法全过程
把载体图片
按以上方法分为、、和，按照同样的分法，将秘密信息
也分为
、
、
以及
，按照如图方法分别嵌入 、、、。下面以介绍嵌入 为例。
首先按照创新的预处理方法生成，然后喂入CNN网络（至此完成了论文的创新部分），得到此时计算图像部分位置的预测误差——的部分与
的部分做差得到的预测误差。
然后根据所得的预测误差，用经典的PEE算法[6]将嵌入部分，得到
。
以上过程可见于图中第一个模块。
用替代，针对、重复上述步骤。
以上过程可见于图中第二个模块。
用此种方式，将嵌入，得到
；再把嵌入，把嵌入，依次得到
、
。
最后依据公式得到最终的载密图像
④算法在实验中的提升
具体环境
Intel ES-2678V3 CPU (2.5 GHz)
NVIDIA 3080 GPU
测试图片
原始尺寸
灰度图像
A.预测准确率
误差均值、方差
测试集：ucid.v2[22]中的所有1338张图片
A-Mean 所有(All)图片的预测误差均值
A-Var 所有(All)图片的预测误差方差
本文方法误差的均值、方差都低于对比算法。
误差分布
横轴为误差值大小，纵轴为误差率。
可见本文的误差分布直方图更尖锐(sharply)，分布质量高。
准确预测到的像素数量
此处实验测试了各算法分别在8张标准测试图像（分别是Lena、Babbon、Airplane、Barbara、Lake、Boat、Elaine和Peppers）上的表现，以及计算了这8张标准图像和24张柯达图像[23](Kodak images)一起测试的平均结果。
可见算法预测准确无误的像素数量也是高于同类的。
结论
本文方法误差的均值、方差都小，具有良好的误差分布，比起其他算法能够拥有更多准确预测到的像素点，足以证明预测准确率高于同类算法。
B.视觉质量
这个视觉质量是指最终生成的载密图像的视觉质量，参考这个指标的目的是结合PEE的第二阶段算法，从一个RDH算法整体能力的要求出发，来评估算法的质量。
本文结合了论文[6]中的第二阶段方法，以此构成完整的RDH算法，来测量结果。
PSNR
度量视觉质量的指标。
其中均方误差MSE计算公式：
其中
为原始图像，
为载密图像。
按照此些公式，可计算载密图像的视觉质量。
实验内容
实验中，Ablation 1表示[13]的预处理方法+本文CNN模型，Ablation 2表示本文预处理方法+[13]的CNN模型。
实验用来测试的数据集是与上面相同的8张标准图像和24张柯达图像[23](Kodak images)。
结论
可见，在10000到80000负载下，本文提出的方法都取得了最好的载密图像质量。
此外，观察表格，可以发现本文提出的两处创新部分，都能够结合其他算法提高最终得到的图片质量。
⑤总结
1.本文创新点之一为预处理部分运用了每个像素点全部的8个临近像素，提高了预处理的质量。
2.本文创新点之二为更好的CNN网络，经过网络得到的图片预测准确率更高。
3.结合经典PEE算法[6]，本文取得了很好的成果，载密图像的视觉质量得到了提升。
[1] Y. -Q. Shi, X. Li, X. Zhang, H.-T. Wu, and B. Ma, “Reversible data hiding: Advances in the past two decades,” IEEE Access, vol. 4, pp. 3210–3237, 2016.
[2] M. U. Celik, G. Sharma, A. M. Tekalp and E. Saber, “Lossless generalized-LSB data embedding,” IEEE Transactions on Image Processing, vol. 14, no. 2, pp. 253-266, Feb. 2005.
[3] J. Tian, “Reversible data embedding using a difference expansion,” IEEE Transactions on Circuits and Systems for Video Technology, vol. 13, no. 8, pp. 890-896, Aug. 2003.
[4] Z. Ni, Y. -Q. Shi, N. Ansari and W. Su, “Reversible data hiding,” IEEE Transactions on Circuits and Systems for Video Technology, vol. 16, no. 3, pp. 354-362, March 2006.
[5] D. M. Thodi and J. J. Rodriguez, “Expansion Embedding Techniques for Reversible Watermarking,” IEEE Transactions on Image Processing, vol. 16, no. 3, pp. 721-730, March 2007.
[6] V. Sachnev, H. J. Kim, J. Nam, S. Suresh and Y.Q. Shi, “Reversible Watermarking Algorithm Using Sorting and Prediction,” IEEE Transactions on Circuits and Systems for Video Technology, vol. 19, no. 7, pp. 989-999, July 2009.
[7] D. Coltuc, “Low distortion transform for reversible watermarking,” IEEE Transactions on Image Processing, vol. 21, no. 1, pp. 412-417, Jan. 2012.
[8] B. Ou, X. Li, Y. Zhao and R. Ni, “Reversible data hiding based on PDE predictor,” Journal of Systems and Software, vol. 86, no. 10, pp. 2700-2709, 2013.
[9] I. F. Jafar, K. A. Darabkh, R. T. Al-Zubi and R. A. Al Na’mneh, “Efficient Reversible Data Hiding Using Multiple Predictors,” The Computer Journal, vol. 59, no. 3, pp. 423-438, March 2016.
[10] T. Luo, G. Jiang, M. Yu, C. Zhong, H. Xu, and Z. Pan, “Convolutional neural networks-based stereo image reversible data hiding method,” Journal of Visual Communication and Image Representation, vol. 61, pp. 61-73, 2019.
[11] R. Hu and S. Xiang, “CNN Prediction Based Reversible Data Hiding,” IEEE Signal Processing Letters, vol. 28, pp. 464-468, 2021.
[12] W. Luo, Y. Li, R. Urtasun, and R. Zemel, “Understanding the effective receptive field in deep convolutional neural networks,” Adv. Neural Inf. Process. Syst., vol. 29, pp. 4898–4906, 2016.
[13] R. Hu and S. Xiang, “Reversible Data Hiding by Using CNN Prediction and Adaptive Embedding,” IEEE Transactions on Pattern Analysis and Machine Intelligence, pp. 1-1.
[14] B. Ou, X. Li, Y. Zhao, R. Ni and Y. -Q. Shi, “Pairwise Prediction-Error Expansion for Efficient Reversible Data Hiding,” IEEE Transactions on Image Processing, vol. 22, no. 12, pp. 5010-5021, Dec. 2013.
[15] H. Wu, X. Cao, R. Jia and Y. Cheung, “Reversible Data Hiding with Brightness Preserving Contrast Enhancement by Two-dimensional Histogram Modification,” IEEE Transactions on Circuits and Systems for Video Technology, vol 32, no. 11, pp. 7605 - 7617, 2022.
[16] Q. Chang, X. Li and Y. Zhao, “Reversible Data Hiding for Color Images Based on Adaptive Three-Dimensional Histogram Modification,” IEEE Transactions on Circuits and Systems for Video Technology, vol. 32, no. 9, pp. 5725-5735, Sept. 2022
[17] W. He, G. Xiong and Y. Wang, “Reversible Data Hiding Based on Adaptive Multiple Histograms Modification,” IEEE Transactions on Information Forensics and Security, vol. 16, pp. 3000-3012, 2021.
[18] S. Ioffe and C. Szegedy, “Batch normalization: Accelerating deep network training by reducing internal covariate shift,” Proc. Int. Conf. Mach. Learn., 2015, pp. 448–456.
[19] J. Deng, W. Dong, R. Socher, L. -J. Li, Kai Li and Li Fei-Fei, “ImageNet: A large-scale hierarchical image database,” 2009 IEEE Conference on Computer Vision and Pattern Recognition, pp. 248-255, 2009.
[20] Y. Lecun, L. Bottou, Y. Bengio and P. Haffner, “Gradient-based learning applied to document recognition,” Proceedings of the IEEE, vol. 86, no. 11, pp. 2278-2324, Nov. 1998.
[21] D. P. Kingma and J. Ba, “Adam: A method for stochastic optimization,” 2014, arXiv:1412.6980.
[22] G. Schaefer and M. Stich. “UCID: An uncompressed color image database,” Storage and Retrieval Methods and Applications for Multimedia 2004, vol. 5307, pp. 472-480, 2003.
[23] R. Franzen, “Kodak lossless true color image suite,” Website: http://r0k.us/graphics/kodak, 1999.vv