Second-order Attention Network for Single Image Super-Resolution(CVPR2019)

Motivation现有的基于深度卷积神经网络的方法主要专注于设计更深或者更宽的网络结构,却很少挖掘层间特征的相关性,从而降低了卷积神经网络的学习能力.

Second-order Attention Network for Single Image Super-Resolution(CVPR2019)_第1张图片
整体思路:提出了一个二阶注意力网络(SAN)来实现更强大的特征表达和特征相关学习。提出了一种新的可训练的二阶通道注意力(SOCA)模块,进行相关性学习。提出了一种非局部增强的残差组(NLRG)结构,捕获远距离空间上下文信息。

Github地址:https://github.com/daitao/SAN

具体方法:

  • 网络架构:

Second-order Attention Network for Single Image Super-Resolution(CVPR2019)_第2张图片

  • 非局部增强残差组NLRG

Second-order Attention Network for Single Image Super-Resolution(CVPR2019)_第3张图片

  • 区域非局部模块RL-NL模块
       
    Second-order Attention Network for Single Image Super-Resolution(CVPR2019)_第4张图片

将图像划分为k×k大小,每一个区域进行非局部操作。

对于全局非局部的好处:减少来计算量,对于低级任务区域非局部操作证明有效。

  • LSRAG模块
  • Second-order Attention Network for Single Image Super-Resolution(CVPR2019)_第5张图片

使用了局部残差连接,在LSRAG末端有一个SOCA模块,即是二阶通道注意力机制。

SOCA:

  • Second-order Attention Network for Single Image Super-Resolution(CVPR2019)_第6张图片
  • Second-order Attention Network for Single Image Super-Resolution(CVPR2019)_第7张图片

你可能感兴趣的:(深度学习,图像超分,python)