文章学习29“Crafting a Toolchain for Image Restoration by Deep Reinforcement Learning”

这篇文章是CVPR2018年的作品，商汤科技出品。总得来说这篇文章在性能上并没有什么提示，但是把网络轻量化了，减少为原来1/3的参数量，还用了强化学习的策略。在这篇文章里，作者认为真实的需要恢复的图像被进行了模糊，噪声和JPEG压缩三个步骤，所以在图像恢复时也考虑这三个处理过程并且将其分开，分成不同的小步骤依次进行处理。

作者在进行实验时发现不同的小过程的处理级别和步骤会对最后的结果产生很大的影响，比如下图，不同颜色是不同处理级别，相比于c来说，不同的处理方式、步骤、级别都会对最后的处理结果产生很大影响。所以在处理策略上需要下功夫。

整个网络就由两部分组成，一个是完成各种图像恢复作用的工具箱，另一个就是一个循环结构的agent，用以在每个阶段选择哪个工具。

1）工具箱。本文提出的工具箱中包含了12个针对不同降质类型的CNN。每一种工具解决一种特定程度的高斯模糊、高斯噪声、JPEG失真，这些失真在图像复原领域中最为常见。针对轻微程度失真的复原工具CNN仅有3层，而针对严重程度失真的工具达到8层。为了增强复原工具的鲁棒性，本文在所有工具的训练数据中均加入了轻微的高斯噪声及JPEG失真。

2）准备好工具箱之后就是怎么使用这些工具的算法了，作者在这里采用了强化学习的策略，将psnr的增值作为奖励进行训练，具体过程如上图。作者花了很大的篇幅解释了文章所用名词的含义。比如“动作”，是指在每一个图像恢复步骤中采取的工具的这个过程，因为本文中有12（上表）个工具，所以每一个步骤就有13（12+停止）个动作；“回报”就是指的强化学习里的reward，这里采用的是psnr的增益。

网络结构就如上图所示，在每一个步骤里都需要有一个agent用来判断应该使用toolbox里的哪一个，agent由三部分组成：特征提取器（Feature Extractor），包含了4个卷积层和1个全连接层，将输入图像转化为32维特征向量；One-hot编码器（One-hot Encoder），其输入是前一步骤的动作估值向量，输出将其转换为对应的特征向量；LSTM，其以前两个模块输出作为输入，这个模块不仅观测当前步骤的状态特征，还存储了历史状态的信息，该模块最后输出当前步骤的估值向量，用于复原工具的选取。就这样图像一步步的传输下去，经过几个步骤之后遇到停止动作时即停止图像恢复。但在本文作者设置了一个最大传输步骤，即到达这个步骤之后即使没有停止动作也停止训练。

整个训练过程是一个端到端的过程，算法如下：

对于每一张输入图像，先通过所选取的工具链前向传播得到最后的复原图像，通过与清晰参考图像对比得到MSE损失，然后通过工具链对误差进行反向传播，根据平均的梯度值更新工具网络的参数。

实验：使用DIV2K训练集的前750张图像用于训练，后50张图像用于测试。通过抠取分辨率为63x63的子图像，共得到25万张训练图像和3,584张测试图像。训练时在每一张图像上随机加上不同程度的高斯模糊、高斯噪声和JPEG压缩。算法在训练样本中排除一些极度轻微或严重的失真，使用中度失真的图像进行训练，而在轻度、中度和重度失真的图像上进行测试。测试结果如下：

和VDSR和DnCNN在图像恢复上进行对比，参数少了2/3，但性能仍有提升。（VDSR-s指和RL-Restore同样参数量的VDSR）

在真实图像上的实验结果如下图所示，显示本文所提出的方法比VDSR效果要好