论文阅读《Wavelet-Based Texture Reformation Network for Image Super-Resolution》

论文地址：https://arxiv.org/ftp/arxiv/papers/1907/1907.10213.pdf
源码地址：https://github.com/zskuang58/WTRN-TIP

---

概述

  这篇论文提出了一种基于小波变换的纹理重构网络（WTRN），用于从参考图像中提取和迁移纹理信息，提高低分辨率图像的质量。该方法利用小波变换将纹理特征分解为不同频率的子带，分别进行特征匹配和特征交换，同时引入了一种基于小波的纹理对抗损失函数，使得生成的图像具有更真实的纹理效果。该方法在四个数据集上的实验结果表明，它优于之前的RefSR方法。
  图像超分辨率的方法分为三种：基于失真的方法，基于感知的方法和基于参考的方法。基于失真的方法：这类方法以像素级误差（如MSE和MAE）为主要优化目标，能够实现较小的失真，但是由于回归到均值的现象，它们恢复的图像通常是模糊和过度平滑的，导致人类视觉效果不佳。基于感知的方法：这类方法利用许多与感知相关的约束（如感知损失和对抗损失）来提高重建结果的视觉质量。虽然恢复的图像对人类视觉感知更宽容，但是这些结果容易出现较大的PSNR降低和不理想的纹理伪影。基于参考的方法（RefSR）：这类方法能够在超分辨率的图像上生成更合理和真实的纹理，超过了前述的图像SR方法。在RefSR中，LR图像中丢失的细节可以用HR参考图像中的丰富纹理信息来补充。这些HR参考图像，从不同的图像来源收集，如网络搜索，视频帧甚至手机拍照等，与输入的LR图像具有相似的内容或语义相关的纹理。因此，RefSR的两个关键问题是：1)如何准确地匹配LR和参考图像之间的相似内容信息；2)如何有效地将匹配的纹理细节从参考图像转移到SR图像上。为了匹配有意义的语义信息，当前最先进的RefSR方法直接使用从ImageNet预训练的VGG网络1提取的特征来进行相似度计算。然后，它们通过不同的转移策略（如块交换和相似度加权）逐渐将匹配的参考图像特征融合到最终输出中。然而，一方面，由于VGG编码器得到的原始特征包含了与纹理相似度无关和冗余的信息，直接在原始特征空间上操作可能导致不准确的纹理匹配结果；另一方面，这些原始特征由于VGG编码器中的下采样层而缺乏足够的高频信息，进一步限制了纹理转移的性能。
  为此，作者希望找到一种更准确和有效的特征匹配和转移的过程，可以按照“分而治之”的策略进行，即先比较低分辨率图像和参考图像提取的特征的内容相似度，然后在不同的阶段分别转移不同特征的纹理信息。文中提出的一种基于小波的纹理重构网络（WTRN）用于参考图像超分辨率（RefSR）。这种网络的主要思想是利用小波变换将特征图分解为低频和高频子带，然后根据低频子带计算低分辨率（LR）图像和参考图像之间的相关性，再根据相关性指导交替使用低频和高频纹理重构模块来融合匹配的特征，从而重构纹理信息。此外，作者还提出了一种基于小波的纹理对抗损失，用于使生成器生成更真实的纹理细节。该方法在四个公开的数据集上与其他单图像SR和参考图像SR方法进行了定量和定性的比较，证明了其在失真和感知方面的优越性。

---

模型架构

  图 2 为该网络的结构，假设有一张高分辨率的参考图像 $I^{\text{Ref}}\in {\mathbb{R}}^{H_{\text{ref}}\times W_{\text{ref}}\times 3}$与一个对应的输入的低分辨率图像 $I^{\text{LR}}\in {\mathbb{R}}^{H_{\text{lr}}\times W_{\text{lr}}\times 3}$，超分辨率的目标是从 $I_{\text{Ref}}$ 中找到最相似的部分，并以“分而治之”的方式将相应的纹理信息传输到最终的输出图像 $I^{\text{SR}}\in {\mathbb{R}}^{s\cdot H_{\text{lr}}\times s\cdot W_{\text{lr}}\times 3}$ 中，其中 $H_{\text{ref}}$ 和 $W_{\text{ref}}$ 分别表示参考图像的高度和宽度，$H_{\text{lr}}$ 和 $W_{\text{lr}}$ 分别表示输入低分辨率图像的高度和宽度，$s$ 表示上采样因子。

Haar Wavelet Pooling

  Haar小波变换可以将输入信号分解为低频和高频的子带。其包含四个滤波器，分别是$L{L}^T,L{H}^T,H{L}^T,H{H}^T$，其中 $L{L}^T$ 和 $L{H}^T$ 是低通滤波器，$H{L}^T$和$H{H}^T$ 是高通滤波器。低频子带包含了信号的平滑表面和纹理信息，而高频子带捕捉了更复杂的纹理细节，低频与高频滤波器为：
$${\mathbf{L}}^{\mathbf{T}}=\frac{1}{\sqrt{2}}\left[\begin{array}{cc}1& 1\end{array}\right],{\mathbf{H}}^{\mathbf{T}}=\frac{1}{\sqrt{2}}\left[\begin{array}{cc}-1& 1\end{array}\right].\text{\hspace{1em}(1)}$$
文中使用Haar小波池化层替换了VGG编码器中的最大池化层，从而保留了更多的纹理信息。此外，使用了4个2×2的卷积核来进行小波分解，分别对应小波变换中的$L{L}^T，L{H}^T，H{L}^T$和$H{H}^T$。若输入通道为$C$，输出通道则为$4C$，这与常规的池化操作不同。为此，使用${\phi }_{LL}^l,{\phi }_{LH}^l,{\phi }_{HL}^l,{\phi }_{HH}^l$ 表示在第 $I$ 个空间层上使用相应小波核的特征提取器来进行小波变换。假设VGG编码器的输入是参考图像$I^{Ref}$，那么在第 $l$ 个空间层上的小波池化层的输出可以分为四个部分：${\phi }_{LL}^l(I^{Ref}),{\phi }_{LH}^l(I^{Ref}),{\phi }_{HL}^l(I^{Ref}),{\phi }_{HH}^l(I^{Ref})$如图3所示。为了消除最大池化造成的伪影，文中使用Haar小波池化来进行更好的特征匹配和转移，以实现参考图像的超分辨率。此外，由于这些提取的特征能够反映$I^{LR}$和$I^{Ref}$的上下文和纹理信息的更多特征，故在高维特征空间计算ILR和IRef之间的相关性图。尽管VGG编码器能提取多尺度的特征，但原始VGG编码器中的最大池化操作会导致大量信息的丢失，又由于小波变换的可逆性，用Haar小波池化层替换VGG编码器中的最大池化层是一种更直接和有效的方式，来存储特征转移过程中的纹理信息。

Matching and Swapping on the Wavelet Domain

  为了解决输入的低分辨率图像$I^{LR}$和参考图像$I^{Ref}$之间的尺寸不匹配问题，首先使用双三次插值法将$I^{LR}$放大到一个更大的分辨率。然后，为了在特征匹配过程中保持域的一致性，作者将$I^{Ref}$先双三次下采样再双三次上采样，使其与放大后的$I^{LR}$具有相同的分辨率。接着，作者在VGG编码器提取的特征上计算相关性图$M_C$，用于度量输入的LR图像和参考图像之间的相似性。考虑到由于输入的LR图像在放大之前的边缘和纹理都很模糊，与参考图像的清晰边缘和纹理不一致，这种不一致性会影响匹配和转移的结果，进而限制重建的性能。因此，将参考图像也进行双三次下采样和上采样，以保持与放大后的LR图像的域一致，$I^{LR\uparrow }$和$I^{Ref\downarrow \uparrow }$分别表示放大后的LR图像和重新缩放后的参考图像。此外$l\in \{1,2,\dots ,L\}$ 表示特征的当前空间层，其中 $L=lo{g}_{2}s+1，s$为上采样因子。如果$H\times W$是最大的空间尺寸，那么第 $l$ 个空间层的空间尺寸将是$\frac{H}{2l-1}\times \frac{W}{2l-1}$ 。
  高频信息通常包含了复杂的纹理细节和大部分噪声，因此使用低通滤波器$L{L}^T$在Haar小波池化层中消除复杂纹理信息和部分无关噪声的影响，从而得到更准确的匹配结果。为了节省计算成本，文中只在较小的尺度上映射这些特征图，以获得相关性图。$I^{LR\uparrow }$和$I^{Ref\downarrow \uparrow }$之间的相关性图${\mathbf{M}}_{\mathbf{C}}\in {\mathbb{R}}^{H_{lr}^{L-2}\cdot W_{lr}^{L-2}\times H_{ref}^{L-2}\cdot W_{ref}^{L-2}}$(其中，$\begin{array}{r}{H}_{lr}^{L-2}\cdot W_{lr}^{L-2}，H_{ref}^{L-2}\cdot W_{ref}^{L-2}\end{array}$分别表示LR图像与参考图像的第L-2层特征的尺度)：
$${\mathbf{M}}_{\mathbf{C}}={\mathcal{F}}_M({\varphi }_{LL}^{L-2}({\mathbf{I}}^{\mathbf{LR}\uparrow }),{\varphi }_{LL}^{L-2}({\mathbf{I}}^{\mathbf{Ref}\downarrow \uparrow })),\text{\hspace{1em}(2)}$$
其中 ${\mathcal{F}}_M(\cdot )$ 为基于patch来计算特征相似，即对每个像素位置，从$I^{LR\uparrow }$和$I^{Ref\downarrow \uparrow }$的特征中采样两个块，并计算它们之间的余弦相似度。
  作者采用了多尺度特征转移的策略以充分利用提取的特征中的纹理和语义信息，在不同的大小的特征上进行了特征转移的操作，这样可以利用参考图像中的纹理和语义信息来提高低分辨率图像的质量。先用小波变换把特征分成低频和高频部分，然后用相关性图来找到最相似的特征块，再用特征交换的方法来替换低分辨率图像的特征。作者只在小波域上交换大部分的参考特征，因为最大尺度的特征可以直接用于重建图像，不需要小波分解。这样做的目的是为了保留更多的纹理细节，提高超分辨率的效果。这些被选中的特征是通过一个索引向量$V_I$的指导进行交换的，$V_I\in {\mathbb{R}}^{H_{lr}^{L-2}\cdot W_{lr}^{L-2}}$ 。$V_I$可以由$M_C$计算得到：
$${\mathbf{V}}_{\mathbf{I}}(i)=\arg \underset{j}{\max }{\mathbf{M}}_{\mathbf{C}}(i,j).\text{\hspace{1em}(3)}$$
以第 $l$ 个空间层上的低频参考特征${\phi }_{LL}^l(I^{Ref})$为例（如图5）

  先将参考特征${\phi }_{LL}^l(I^{Ref})$展开成一组小块$\{{\mathbf{P}}_{LL,l}^i|{\mathbf{P}}_{LL,l}^i\in {\mathbb{R}}^{K^l\times K^l\times C^l}{\}}_{i=1}^{H_{ref}^l\cdot W_{ref}^l}$，其中$K^l\times K^l\times C^l$是小块的大小。对于 ×4 的放大倍数 $(L=3)$，$K^1，K^2$和$K^3$分别设为3，6和12。$C^l$是对应的VGG特征的通道数。然后，根据索引向量$V_I$从这组小块中选择一些小块，组成一个新的小块集合$\{{\mathbf{P}}_{LL,l}^{{\mathbf{V}}_I(i)}|{\mathbf{P}}_{LL,l}^{{\mathbf{V}}_I(i)}\in {\mathbb{R}}^{K^l\times K^l\times C^l}{\}}_{i=1}^{H_{lr}^l\cdot W_{lr}^l}$。最后，通过Fold函数将这个新的小块集合合并成交换后的低频纹理特征${\mathbf{F}}_{\mathbf{LL}}^{\mathbf{l}}\in {\mathbb{R}}^{H_{lr}^l\times W_{lr}^l\times C^l}$ :
$${\mathbf{F}}_{\mathbf{LL}}^{\mathbf{l}}=\mathrm{Fold}(\{{\mathbf{P}}_{\mathbf{LL},\mathbf{l}}^{{\mathbf{V}}_{\mathbf{l}}(\mathbf{i})}|{\mathbf{P}}_{\mathbf{LL},\mathbf{l}}^{{\mathbf{V}}_{\mathbf{l}}(\mathbf{i})}\in {\mathbb{R}}^{K^l\times K^l\times C^l}{\}}_{i=1}^{H_{lr}^l\cdot W_{lr}^l}),\text{\hspace{1em}(4)}$$

使用用Fold函数将小块拼接成一张特征图后，并对重叠区域的值取平均。这有利于消除边缘的不连续性，使得特征图更加平滑。此外，由于输入的参考图像的大小和期望的高分辨率图像的大小可能不同，所以他们的特征图的空间尺寸也可能不同。因此，在选择和交换特征时，不需要考虑参考图像的大小，只需要根据索引向量$V_I$来选择最相似的特征块即可。在交换了低频参考特征之后，还用同样的方法交换了高频参考特征$\{F_{LH}^l,F_{HL}^l,F_{HH}^l\}$，这些特征是从高频参考特征${\varphi }_{LH}^l({\mathbf{I}}^{\mathbf{Ref}}),{\varphi }_{HL}^l({\mathbf{I}}^{\mathbf{Ref}}),\mathrm{与}{\varphi }_{HH}^l({\mathbf{I}}^{\mathbf{Ref}})$中选择的。为了更好地将交换后的特征融合到网络中，作者还计算了一个注意力向量${\mathbf{V}}_{\mathbf{A}}\in {\mathbb{R}}^{H_{lr}^{L-2}}\cdot W_{lr}^{L-2}$，用来确定原始的低分辨率特征块和对应的交换后的参考特征块之间的纹理相关性：
$${\mathbf{V}}_{\mathbf{A}}(i)=\underset{j}{\max }{\mathbf{M}}_{\mathbf{C}}(i,j).\text{\hspace{1em}(5)}$$
其中$M_C$是在低频特征上计算的相关性图。注意力向量$V_A$可以使得模型更有针对性地转移纹理信息，提高重建的质量。

Alternant Texture Transfer Strategy

  作者采用了一个金字塔式的重建网络，利用不同尺度的纹理迁移来提高纹理生成和学习的效果。并使用了一个带有×2放大倍数的像素洗牌层作为网络中的上采样层。在每个空间层上，堆叠了多个残差块来增强特征表示的能力。随着空间层的增加，金字塔式的网络会逐渐合并转移后的特征，并对它们进行细化，用于重建阶段。具体而言，在最小的空间层上，作者将交换后的低频纹理特征$F_{LL}^1$和浅层特征合并，作为初始的纹理转移。然后，由于上采样层只利用了之前在较小尺度上学习到的纹理信息，缺乏足够的高频细节，在每个上采样操作之后，加入了交换后的高频纹理特征$\{F_{LH}^l,F_{HL}^l,F_{HH}^l\}$，用于对放大后的特征进行纹理重塑。剩余的低频纹理特征与对应的重塑特征整合，以丰富它们的纹理表示。低频纹理重塑模块（LTRM）的操作可以用公式表示为：
$${\mathbf{F}}_{\mathbf{out}}^{\mathbf{l}}={\mathbf{M}}_{\mathbf{A}}^{\mathbf{l}}\otimes {\mathcal{F}}_{\mathbf{conv}}^{\mathbf{l}}(\mathcal{C}[{\mathbf{F}}_{\mathbf{LL}}^{\mathbf{l}},{\mathbf{F}}_{\mathbf{in}}^{\mathbf{l}}])+{\mathbf{F}}_{\mathbf{in}}^{\mathbf{l}},\text{\hspace{1em}(6)}$$
其中 ${\mathbf{F}}_{\mathbf{in}}^{\mathbf{l}}$ 与 ${\mathbf{F}}_{\mathbf{out}}^{\mathbf{l}}$ 表示这个模块的输入与输出纹理感知特征。${\mathbf{M}}_{\mathbf{A}}^{\mathbf{l}}\in {\mathbb{R}}^{H_{lr}^l\times W_{lr}^l}$ 是一个注意力图，它是根据之前计算的注意力向量 $V_A$ 经过重塑和插值操作得到的，它反映了第 $l$ 个空间层上的纹理相关性。${\mathcal{F}}_{conv}^l$ 表示 3x3的卷积层。$\mathcal{C}$ 表示沿着通道维度的拼接。$\otimes$ 表示逐点乘。高频纹理重塑模块（HTRM）的操作可以用公式表示为：
$$\begin{array}{rl}{\mathbf{F}}_{\mathbf{R}}^{\mathbf{l}}& ={\mathcal{F}}_{merge}^l(\mathcal{C}[{\mathbf{F}}_{\mathbf{up}}^{\mathbf{l}},{\mathcal{F}}_{LH}^l({\mathbf{M}}_{\mathbf{A}}^{\mathbf{l}}\otimes {\mathbf{F}}_{\mathbf{LH}}^{\mathbf{l}}),{\mathcal{F}}_{HL}^l({\mathbf{M}}_{\mathbf{A}}^{\mathbf{l}}\otimes {\mathbf{F}}_{\mathbf{HL}}^{\mathbf{l}}),{\mathcal{F}}_{HH}^l({\mathbf{M}}_{\mathbf{A}}^{\mathbf{l}}\otimes {\mathbf{F}}_{\mathbf{HH}}^{\mathbf{l}})]),\end{array}\text{\hspace{1em}(7)}$$
HTRM的作用是将放大后的特征$F_{up}^l$ 和交换后的高频特征$\{{\mathbf{F}}_{\mathbf{LH}}^{\mathbf{l}},{\mathbf{F}}_{\mathbf{HL}}^{\mathbf{l}},{\mathbf{F}}_{\mathbf{HH}}^{\mathbf{l}}\}$合并起来，生成重塑后的特征${\mathbf{F}}_{\mathbf{R}}^{\mathbf{l}}$。这些高频特征是通过映射函数${\mathcal{F}}_{LH}^l,{\mathcal{F}}_{HL}^l,{\mathcal{F}}_{HH}^l$进一步改善的，这些映射函数包括了多个残差块，一个卷积层和一个可学习的逆小波变换（LIWT）。LIWT是由四个反卷积滤波器组成的，它们和小波池化层中的核对应。LIWT的权重是用小波核初始化的，然后和网络中的其他参数一起更新。${\mathcal{F}}_{merge}^l$ 是一个3×3大小的卷积层，用于自适应地整合这些高频特征和放大后的特征，实现纹理重塑且有效地转移参考图像中的纹理信息。

Wavelet-Based Texture Adversarial Loss

  小波变换分解出的低频子带对客观质量有很大的影响，而高频子带对感知质量有很大的影响，图像的纹理细节会随着感知质量的提高而变得更丰富。为此，作者提出了一种基于小波的纹理对抗损失函数，它只将重建图像的高频子带而不是原始图像输入到判别器中。此外，为了充分利用参考图像中包含的纹理信息，作者还将参考图像的高频子带和重建图像的高频子带结合起来。有了参考图像中丰富的纹理信息的帮助，判别器更能够识别出生成器产生的假纹理信息，从而促进生成更真实的纹理：
$${\mathcal{L}}_{tadv}(G)=-\mathbb{E}[D(\mathcal{C}[W_h(G({\mathbf{I}}^{\mathbf{LR}})),W_h({\mathbf{I}}^{\mathbf{Ref}})])],\text{\hspace{1em}(8)}$$
$W_h$是小波池化层中的$L{H}^T，H{L}^T和H{H}^T$核的组合，它可以提取输入的高频信息，改损失函数可以引导生成器生成高频子带接近真实图像的高频子带的图像。

---

损失函数

低频重建损失衡量了高分辨率图像和重建图像的低频子带（$I_{LL}^{HR}$和$I_{LL}^{SR}$）之间的像素级差异，因为低频子带对图像的保真度有很大的影响:
L l f r e c = ∥ I L L H R − I L L S R ∥ 1 . (9) \mathcal{L}_{lfrec}=\left\|\mathbf{I_{LL}^{HR}-I_{LL}^{SR}}\right\|_1.\tag{9} Llfrec​= ​ILLHR​−ILLSR​ ​1​.(9)

感知损失用于提高重建图像的视觉信息：
L p e r = ∥ δ 5 , 1 ( I H R ) − δ 5 , 1 ( I S R ) ∥ 2 , (10) \mathcal{L}_{per}=\left\|\delta^{5,1}(\mathbf{I^{HR}})-\delta^{5,1}(\mathbf{I^{SR}})\right\|_2,\tag{10} Lper​= ​δ5,1(IHR)−δ5,1(ISR) ​2​,(10)
  其中 ${\delta }^{5,1}$ 代表VGG编码器中第五个最大池化前的第一个卷积操作。
纹理注意力损失用于约束重建图像的低频和高频纹理特征与交换后的参考特征之间的纹理差异尽可能小，使重建图像的纹理更接近参考图像的纹理，提高重建的质量。：
L t a t t = 1 L − 1 ∑ l = 1 L − 1 ( ∥ F L L l − ϕ L L l ( I S R ) ∥ 2 + ∑ h ∈ ( L H , H L , H H ) λ ∥ F h l − ϕ h l ( I S R ) ∥ 2 ) . (11) \begin{aligned}\mathcal{L}_{tatt}&=\frac1{L-1}\sum_{l=1}^{L-1}(\left\|\mathbf{F_{LL}^l-\phi_{LL}^l(I^{SR})}\right\|_2+\sum_{h\in(\mathbf{LH},\mathbf{HL},\mathbf{HH})}\lambda\left\|\mathbf{F_{h}^l-\phi_{h}^l(I^{SR})}\right\|_2).\end{aligned}\tag{11} Ltatt​​=L−11​l=1∑L−1​( ​FLLl​−ϕLLl​(ISR) ​2​+h∈(LH,HL,HH)∑​λ ​Fhl​−ϕhl​(ISR) ​2​).​(11)
最后使用$L_1$损失来约束重建图像标签之间的误差：
L r e c = ∥ I H R − I S R ∥ 1 . (12) \mathcal{L}_{rec}=\left\|\mathbf{I}^{\mathbf{HR}}-\mathbf{I}^{\mathbf{SR}}\right\|_1.\tag{12} Lrec​= ​IHR−ISR ​1​.(12)

---

实验结果