【Super Resolution】【论文阅读】【CVPR2019】Second-order Attention Network for Single Image Super-Resolution

论文地址：http://openaccess.thecvf.com/content_CVPR_2019/papers/Dai_Second-Order_Attention_Network_for_Single_Image_Super-Resolution_CVPR_2019_paper.pdf

清华、鹏城实验室、香港理工大学、阿里达摩院

先来两张效果图

 

 

1、论文贡献

• 提出一个深的二阶注意力网络(Second-order Attention Network,SAN)
• 提出了一个非局部增强残差组(Non-locally Enhanced Residual Group,NLRG) ，提取深度特征，捕获长距离空间上下文信息(long-distance spatial contextual information)
• 提出了一个二阶通道注意力机制(Second-order Channel Attention,SOCA)以实现特征的相关性学习

2、网络分析

SAN

 

从图中1可以看出SAN的主要由四部分组成：浅层特征提取(shallow feature extraction)即第一个卷积，非局部增强残差组(NLRG) 提取深度特征(deep feature,DF)，上采样模块(upscale module)，重建模块(reconstruction part)即最后一个卷积。

四个部分对应四个公式：

 

NLRG

还是从图中1可以看出NLRG是由两个区域级非局部模块(Region-level non-local module,RL-NL)与一个同源残差组(Share-source Residual Group,SSRG)组成。

RL-NL

看向图中的2，将输入分成四块(k2 block,k=2)，对每一块都做一次non-local operations，组装。

之所以这篇文章的非局部操作是区域级(RL)的，出于两点考虑，第一就是减少计算量，第二就是本来的nonlocal neural network是做的全局操作，但对于low-level的任务(SR就是其中一个啦)来说使用non-local operations辅以一个合适的neighborhood size更事半功倍。详细分析来自于Non-local recurrent network for image restoration(NLRN)。

SSRG

看回图中的1，SSRG主要就是由G(G=20)个局部源残差注意力模块(local-source residual attention groups,LSRAG)跟一个卷积组成，还用了同源残差连接结构(share-source skip connections,SSC)，把LR图像中丰富的低频信息传递给high-level的所有层。

公式来两个：

这里的F0是经过RL-NL后的F0，FG是经过卷积后得到的FG，WSSC通过学习调整的，初始为0

LSRAG

接下来跳到图中的3，LSRAG主要是由M(M=10)个残差块堆叠以及一个二阶通道注意力模块(second-order channel attention,SOCA)组成。

(ps：按论文中的内容看残差传递的是F0，感觉这个图从Fg,1画的skip connection有点问题)

SOCA

OK，终于来到了点题模块SOCA，

• 论文里面提了下SENet，SENet中使用global average pooling按通道做了个数值分布情况统计(Squeeze操作)，它只用了一阶的数据，而Is second-order information helpful for large-scale visual recognition和Bilinear cnn models for fine-grained visual recognition这两篇论文表明特征的二阶统计分布更有利于获得有区分度的表达，如此才诞生了SODA。

看到图中的4，

首先，HGCP表示全局协方差池化(global covariance pooling)操作，先将将输入特征rashape为CxHW的矩阵X，算出其对应的协方差矩阵Σ，因为Σ是个对称的半正定矩阵，所以可以得出它的特征值分解，协方差归一化通过控制对角矩阵的指数α(论文取值为0.5)实现，最后对C个列向量分别求均值得到z。

 

 

然后，用接下来的两个卷积WD和WU(也就是做了通道的降维(C/r=64/16)跟通道还原(C=64))得到最终的二阶通道注意力向量w。

                 f是sigmoid，δ是RELU(4里面没有体现δ)

最后，将注意力向量与输入特征按通道相乘得到新的feature maps。

 

做特征值分解训练太慢了，所以论文最终用了牛顿迭代法做了加速，这里不展开。

3、实验

Settings

训练集DIV2K dataset，优化器用的SGD，损失函数用了L1 loss

Analysis

Results

 

 

 

指标很高。