论文阅读笔记——《Crafting a Toolchain for Image Restoration by Deep Reinforcement Learning》

这篇论文是CVPR 2018 (Spotlight)，是本人团队小伙伴余可的作品~

代码链接：https://github.com/yuke93/RL-Restore

项目主页：http://mmlab.ie.cuhk.edu.hk/projects/RL-Restore/

论文链接：https://arxiv.org/pdf/1804.03312.pdf

 

开篇给出本文得中心，通过深度强化学习来做Image Restoration

a toolbox consisting of small-scale convolutional networks of different complexities and specialized in different tasks.通过不同规模的小尺度卷积网络来实现不同情况下的图像复原。而不像传统的图像复原，要么一个网络只针对一种问题，要么一个大网络来handdle所有的问题。 作者提出的RL-Restore，通过学习从工具箱中选择适当工具的策略，以逐步恢复损坏图像的质量（learns a policy to select appropriate tools from the toolbox to progressively restore the quality of a corrupted image）。We formulate a stepwise reward function proportional to how well the image is restored at each step to learn the action policy（我们制定逐步奖励函数，与每一步恢复图像的程度成正比，以了解行动政策）.We also devise a joint learning scheme to train the agent and tools for better performance in handling uncertainty（我们还设计了一个联合学习计划来训练代理和工具，以便在处理不确定性方面获得更好的性能）.

由于CNN的判别特性，大部分的模型之前被训练用来处理特定的低层视觉任务。近期的一些图像复原工作（如VDSR、DnCNN等）证实了一个CNN网络可以处理多种失真类型或不同失真程度的降质图像，这为解决混合失真问题提供了新的思路。但是，这类算法均选用了复杂度较高的网络模型，带来了较大的计算开销。另外，这些算法的网络均使用同一结构处理所有图像，未考虑一些降质程度较低的图像可以使用更小的网络进行复原。

    针对现有图像复原CNN算法模型复杂，计算复杂度高的问题，本文提出的RL-Restore算法弥补了这些不足，以更加高效灵活的方式解决了复杂的图像复原问题。

    当前流行的图像复原理念认为解决复杂的图像复原问题需要一个大型的CNN，而本文提出了一种全新的解决方案，即使用多个小型CNN专家以协作的方式解决困难的真实图像复原任务。RL-Restore算法的主要思路是设计一系列基于小型CNN的复原工具，并根据训练数据学习如何恰当地组合使用它们。这是因为现实图像或多或少受到多种失真的影响，针对复杂失真的图像学习混合使用不同的小型CNN能够有效的解决现实图像的复原问题。不仅如此，因为该算法可以根据不同的失真程度选取不同大小的工具，相较于现有CNN模型，这一新方法使用的参数更少，计算复杂度更低。

    本文提出的RL-Restore算法贡献如下：

    1）基于强化学习的图像复原。

    2）提出一个用于同时训练代理(agent)和工具(tool)的联合学习框架。使得框架可以有效处理中间过程中新引入的未知失真。

    3）动态组成的工具链性能优于人工设计的网络，且计算量较少。我们的方法更易懂，因为它展示了混合失真是如何一步一步被去除的。

 

下面给出本团队小伙伴的调研报告~

RL-Restore是一种新的基于强化学习的图像恢复的方法，其准备了一个工具箱，其中包含不同复杂性的小型卷积网络，专门用于不同的任务。与传统的人工设计的网络相比，RL-Restore能够使用动态形成的工具链以更有效的参数方式恢复被复杂和未知失真损坏的图像。

（有关强化学习的基本概念：https://blog.csdn.net/qq_30159351/article/details/73729815）

训练：

每一个复原工具的训练均使用MSE损失函数，而agent的训练则使用deep Q-learning算法。（deep Q-learning算法: https://blog.csdn.net/xg123321123/article/details/77504032）

由于LSTM具有记忆性，每一个训练样本均包含一条完整的工具链。

 

 

参考：https://blog.csdn.net/qq_27022241/article/details/82951036