论文阅读笔记——Attention UNet

 参考：https://blog.csdn.net/rosefun96/article/details/88868527

 Attention coefficients（取值0~1）与feature map相乘，会让不相关的区域的值变小（抑制），target区域的值变大（Attention）。

Attention的意思是，把注意力放到目标区域上，简单来说就是让目标区域的值变大。

看下面这张图，xl本来是要直接通过跳跃连接和g上采样的结果进行concat，这里先对xl和g转成一样的size，然后相加，relu, sigmoid得到attention coefficients。

为什么这样就能让注意力放到target区域呢？

文中提到要结合上下文的信息，其实上代表xl，g代表下，因为g学到的东西更多，信息更准确。为什么要加g呢？加g是很重要的，没有g就没有办法实现注意力系数的训练更新。我是这么理解的：g里面的信息，就是注意力该学习的方向。可以这么想，如果直接将g上采样一次得到g'，g'和xl的size一样。那么同样是target的区域的像素值，g'里的像素值会比xl里的像素值大，和xl叠加，就相当于告诉了xl应该去学习的重点。

把g里的信息叠加到xl，再通过训练使得attention coefficients的值在0~1之间（让注意力更集中），让target区域的值趋近1，不相关的区域趋近0。

最后，让xl与attention coefficients相乘，相乘的结果里，就能把注意力放到目标区域上了。

这一部分是可导的，可以通过训练调节注意力系数的值。

         

Attention部分的代码：