RAM: Residual Attention Module for Single Image Super-Resolution

从一开始写博客总结到现在，已经发了有好几篇关于Attention机制的博客了。这个Attention机制很火不是没有道理的，证明它还是有点作用。最新的CVPR2019就有一篇关于Attention的总结。
文章：RAM: Residual Attention Module for Single Image Super-Resolution
文章对近几年的有关于Attention机制paper进行总结，比如 residual channel attention block (RCAB) , convolutional block attention module (CBAM) and channel-wise and spatial attention residual (CSAR) block.

首先我们从结构上，对比不同的 attention module。

For mathematical formulation，对比不同的 attention module。

一般的Attention文章，大家都觉得很水。不知道为什么好，反正就是一顿骚操作，加个sigmoid activation，相乘相加，也不告诉你为什么好。可是这篇文章就比较有水平，首先总结的很到位，二来公式多，逼格就上来了。一个字，服。