Super-resolution:Image Super-Resolution Using Very Deep Residual Channel Attention Networks(论文简读二十一）

Title：Image Super-Resolution Using Very Deep Residual Channel Attention Networks

From：CVPR2018

Note data：2019/08/06

Abstract：针对深度网络难以训练的问题提出了新的网络结构Residual channel attention networks(RCAN),其中在残差网络的基础上提出了跳跃连接，更进一步的加入了注意力机制。

Code:pytorch

1 Abstract

随着模型网络的不断加深，我们发现深度网络很难继续训练，低分辨率输入和特征包含丰富的低频信息，这些信息在通道上被平等对待，因此阻碍了CNN的表示能力。为了解决这个问题提出了新的深度残差通道注意力网络（Residual channel attention networks(RCAN)）。在残差网络的基础上我们提出了 residual in residual (RIR），RIR允许通过多个跳过连接绕过丰富的低频信息，使主网络专注于学习高频信息。 为了解决各通道被平等对待的问题，我们提出了通道的注意力机制，通过考虑通道之间的相互依赖性来自适应地重新调整通道方面的特征。这在其他的一些论文中已经证明有效的。

2 Introduction

论文主要分析了当前超分领域中普遍存在的两个问题：

1. 简单地堆叠残余块以构建更深的网络几乎无法获得更好的改进。 更深层次的网络是否可以进一步促进图像SR以及如何构建非常深的可训练网络仍有待探索；
2. 基于CNN的方同等地处理通道方面的特征，其在处理不同类型的信息（例如，低频和高频信息）方面缺乏灵活性。

图像SR可以被视为一个过程，我们尝试恢复尽可能多的高频信息。 LR图像包含大多数低频信息，可以直接转发到最终的HR输出，不需要太多的计算。 基于CNN的方法（例如，EDSR ）将从原始LR输入中提取特征并且同等地处理每个信道方式特征。 这样的过程将浪费不必要的计算以获得丰富的低频特征，缺乏跨特征通道的判别性学习能力，并最终阻碍深度网络的代表性能力。
为了解决以上问题提出了RCAN获取更加可训练的模型。提出剩余残差（RIR）结构，其中残差群（RG）用作基本模块，长跳跃连接（LSC）允许残余学习在粗糙水平。 在每个RG模块中，我们使用短跳跃连接（SSC）堆叠多个简化的残余块。 长短跳跃连接以及残余块中的快捷方式允许通过这些基于身份的跳跃连接绕过丰富的低频信息，这可以简化信息流。 为了进一步发展，我们建议通道关注（CA）机制通过对特征通道之间的相互依赖性建模来自适应地重新缩放每个通道方面的特征。这种CA机制允许我们提出的网络专注于更有用的信道并增强辨别学习能力。如图1所示，与最先进的方法相比，我们的RCAN获得了更好的视觉SR结果。

总的来说，论文贡献是三方面的：
（1）提出了深度残余信道注意力网络（RCAN），用于高精度图像SR。我们的RCAN可以比以前的基于CNN的方法更深入，并获得更好的SR性能。
（2）提出剩余残差（RIR）结构， 建立非常深刻的可训练网络。 RIR中的长短跳跃连接有助于绕过丰富的低频信息，使主网络学习更有效的信息。
（3）提出通道关注（CA）机制，通过考虑特征通道之间的相互依赖性来自适应地重新缩放特征。这种CA机制进一步提高了网络的表征能力。

3 Architecture

3.1 Network Architecture

模型主要包含四个部分：浅特征提取，剩余残差（RIR）深度特征提取，高级模块和重建部分。 我们将I_LR和I_SR表示为RCAN的输入和输出。们只使用一个卷积层（Conv）从LR输入中提取浅层特征F_0

H_SF表示卷积运算,F_0用于使用RIR模块进行深度特征提取。

H_RIR（·）表示提出的残余结构中非常深的残差，其中包含G残差群（RG）。

H_UP（·）和F_UP分别表示高级模块和升级特征。有几种选择可用作高级模块，如反卷积层（也称为转置卷积），最近邻上采样+卷积 ，和ESPCN 。 已经证明这种后向上扩展策略对于计算复杂性和实现比预扩展SR方法（例如，DRRN 和MemNet ）更高的性能更有效。 然后通过一个Conv层重建升级的特征:

H_REC表示重建层，H_RCAN重建函数。最终目标函数如下：

3.2 Residual in Residual (RIR)

提出RIR结构，其中包含G残余组（RG）和长跳跃连接（LSC）。

每个RG还包含具有短跳跃连接（SSC）的B个残差通道注意力模块（RCAB）。 残差结构中的这种残差允许训练非常深的CNN（超过400层）用于具有高性能的图像SR。

3.3 Channel Attention (CA)

如何使每一个通道得到不同的注意力？也就是为每一个通道赋予不同的权重，那么如何得到这个权重图。
作者主要基于两点考虑：

1. LR空间中的信息具有丰富的低频和有价值的高频成分。低频部分比较平坦。高频部分通常是区域，充满边缘、纹理和其他细节。
2. Conv层中的每个过滤器都有一个局部感受野。因此，卷积后的输出无法利用局部感受野外的上下文信息。

因此，先通过使用全局平均池化，将信道方向的全局空间信息转换为信道描述符。取每一个feature map 的和，这种信道统计量可以看作是局部描述符的集合，这些局部描述符的统计量有助于表示整个图像。除了全局平均池之外，这里还可以引入更复杂的聚合技术。

3.4 Residual Channel Attention Block (RCAB)

残差组和长跳跃连接允许网络的主要部分集中于LR特征的更多信息性组件。 信道关注提取信道之间的信道统计，以进一步增强网络的判别能力。
作者将CA集成到RB中并提出残差信道注意块（RCAB）。

4 Conclusion

论文提出了更深的残差通道注意力模型，更高效的训练模型。更给我们在其他计算机视觉方向一些小的提示，希望在这个基础上可以做一些工作。