Deep Stacked Hierarchical Multi-patch Network for Image Deblurring阅读笔记

摘要

论文代码：https://github.com/HongguangZhang/DMPHN-cvpr19-master
论文地址：https://arxiv.org/pdf/1904.03468.pdf
代码解读：

多尺度去模糊网络的缺点：

• 由粗到细的网络机制中去卷积/上采样操作消耗运行时间。
• 在更精细的尺度中简单的增加网络深度并不能提高去模糊的质量

作者做出的改进

• 为了解决上述问题，作者提出一个分层的 multi-patch 网络，该网络受空间金字塔匹配的启发，由细到粗的处理模糊图像。

为了解决性能饱和问题，作者提出了multi-patch 网络 的stacked版本

Network

作者提出的 Deep Multi-Patch Hierarchical 网络如图所示：

网络受由粗到细的特征金字塔结构影响，使用场景识别技术整合多个图像块提高性能。与在多尺度和尺度循环网络模型中进行大量的数据处理相反，我们的方法使用了residual-like的架构，因此需要小尺寸的滤波器，从而可以进行快速处理。如图3所示：

与多尺度网络和递归循环网络不通，本文去掉了跳跃连接和循环连接。另外，不同于多尺度使用去卷积和上采样操作，我们使用特征图级连的方式。

Encoder-decoder Architecture

DMPHN网络的每一级都由一个编码器和一个解码器组成，其架构如图4所示。我们的编码器由15个卷积层，6个残差连接和6个ReLU组成。 解码器和编码器的层是相同的，只是两个卷积层被反卷积层替换以生成图像。

本文只使用3.6 MB大小的内存存储参数，而 多尺度网络使用了303.6Mb。

Network Architecture

作者使用 1-2-4-8 的结构模式。其中1-2-4-8 代表由粗到细网络所使用的图像块。例如：在第二层垂直分割，在第三层分成2 x 2 个图像块， 第四层分成2 x 4个图像块。

我们网络的每个层都由一对编码器/解码器组成。 通过将模糊图像输入B1分成多个不重叠的图像块块来生成每个级别的输入。 较低级别（对应于更精细的网格）的编码器和解码器的输出将被添加到较高级别（高于一个级别），以便顶层包含在较精细级别中推断出的所有信息。 请注意，每个级别的输入和输出图像块的数量是不同的，因为我们工作的主要思想是使较低级别的注意力集中在局部信息（更细的网格）上，从而为较粗的网格提供残差信息（通过级联卷积获得特征）。

我们将初始模糊图像输入表示为B1，而Bij是第i级的第j个色块。 此外，Fi和Gi是i层的编码器和解码器，Cij是Bij的Gi的输出，Sij代表Gi的输出色块。

以 1-2-4-8 为例：DMPHN网络去模糊从第四个尺度开始。模糊图像B1被分成8个非重叠的图像块 $B_4^j$（j = 1, … , 8）。将这8个图像块作为编码器的输入：

然后我们级连相邻空间上的特征获得一个新的 feat表示为$C_4^{\ast }$，他和第三个尺度的 feat 具有相同大小的尺寸：

其中$⨂$ 表示级连，级连的特征输入编码器得到：

然后第三层输入为：

如第四层：

请注意，所有级别的要素都沿空间维度连接在一起：想象一下相邻的面片被连接起来以形成更大的“图像”。

第二层输入：

输入到编码器：

输入到解码器：

最后得到输出：

损失函数：

Stacked Multi-Patch Network

在本节中，我们提出了一种用于去模糊的新颖堆叠范例。 我们建议不增加网络的垂直深度（向网络模型中添加更精细的级别，这会增加工作的难度），而是建议水平增加深度（堆叠多个网络模型），我们利用多个DMPHN来执行去模糊。

网络如图5 所示：

我们使用两种方式验证我们提出的模型， 第一种是Stack-DMPHN ，如图5 (a) 所示，从上到下进行级连，即：第 i-1个子网络的输入作为第 i个子网络的输出。

第二种如图5(b)所示，是一种由低到高再到低的网络。

PSNR对比结果：