文献阅读笔记--深度学习图像修复方法综述

1、基本信息：
深度学习图像修复方法综述
强振平，何丽波，陈旭，徐丹
2018-10
中国图像图形学报
2、核心内容：
（1）基于深度学习的图像修复理论及其发展现状的综述，所使用的方法是对基于深度学习修复方法提出理论依据并进行分析并且对所涉及的关键技术研究；根据修复网络结构进行分类，分为基于卷积自编码网络结构的图像修复方法、基于生成式对抗网络结构的图像修复方法和基于循环神经网络的图像修复方法 ，总结了这些图像修复方法的主要特点、所存在的问题、对训练样本的要求以及主要应用邻域及参考代码。所得结果是深度学习网络的设计和训练过程中损失函数的选择是图像修复的重要内容。
（2）相关基础介绍了基于自编码器的生成网络、深度网络的训练、卷积自编码器网络的训练。
（3）基于卷积自编码的图像修复方法：类似于自编码网络，也是一种编码-解码过程的网络。
（4）基于GAN的图像修复方法：具有强大的图像生成能力，GAN网络主要包括一个生成模型G和一个判断模型D。判断模型D本质上是一个分类器，他判断输入的图像是来自数据集的真实图像还是网络创建的假图像。生成模型G主要通过反卷积神经网络将随机输入转化为图像。采用GAN网络实现的图像修复，在训练过程中采用未破损的数据进行GAN网络训练。采用GAN网络的图像修复在低分辨率图像特别是特定类型的图像修复中可取得较好效果，但对高分辨率图像的修复有困难。GAN作为一种具有自监督学习能力的生成网络，可以针对某一特定类型图像的对抗训练使得生成模型G具有生成该类型图像的能力，最成功的应用即生成逼真的人脸图像。
（5）对比：基于GAN结构的图像修复方法与基于自编码结构的图像修复方法具有明显的不同，基于GAN结构的图像修复方法是通过生成器直接生成待修复的图像，输入可以是随机噪声，而基于自编码结构的图像修复方法是通过整个破损图像进行修复区域的生成。
（6）基于RNN的图像修复方法：循环神经网络（RNN）是一种可以提供一系列条件分布共享参数的模型，可以表示输出与之前输入内容的相关性，即“输出”依赖于“输入”和上一个时间点的“记忆”。基于RNN的这种网络结构，谷歌团队在2016年的提出了一种PixelRNN模型0用于图像修复，取得了非常好的修复结果。模型本质上是一种改进了的2维循环神经网络，并利用该模型对大规模自然图像进行建模，捕获图像整个像素分布相关的概率特征，即完成对自然图像的分布进行建模。在修复阶段顺序沿着两个空间维度来预测图像中的像素。

（7）未来的展望：
1）对于图像修复，要在准确地获得图像语义的同时，能够清晰地修复细节，这就要求基于深度学习的图像修复网络除了能够捕获语义成分外，还需要能够合成纹理成分。
2）深度神经网络的损失函数直接关系到修复结果的评价标准，现有方法主要以欧氏距离、对抗损失等作为损失函数的内容，对于特定的对象（如人脸），有基于结构语义的损失函数。
3）训练样本的设计，对于壁画修复、人脸修复等，是期望训练的网络对于某一个特定问题可以取得好的结果，而且壁画由于其自身的特点，颜色种类、纹理细节等都有一定的规律，样本数据量一般更小，因此，需要针对性地设计训练样本。
4）当前直接使用深度神经网络的图像修复主要限于直接用低分辨率图像进行网络训练，而高分辨率图像修复方法相对比较困难