Attention机制理解笔记(空间注意力+通道注意力+CBAM+BAM)

声明

全文内容均来以下作者博客，我仅是在此基础上作笔记。

Attention分类(主要SA和CA)

来自 Mr DaYang 的 blog笔记

• soft attention（包括空间注意力、通道注意力）软注意学习的目的是选择细粒度的重要像素点，它们是pixel级。
• hard attention( local 注意力) 硬注意学习则致力于搜索粗糙的潜在判别区域，它们是region级。

来自 Mr DaYang 的 blog 里面的图片

spitial attention

一般来说对于同一像素点不同通道求均值(NxCxHxW---->Nx1xHxW),再经过一些卷积和上采样的运算得到spitial attention mask,空间特征每层的像素点就被赋予不同的权重(一句话来说这是针对 N C H W 的每个C 的 H W 的赋予权重，这就叫做spitial attention)

channel attention

一句话来说就是== 针对 N C H W 的 每个 C 赋予权重，这就叫做 channel atteion== （N C H W----> N C 1 1）

SA + CA(spitial attention+channel attention)

SA + CA 的使用有 BAM CBAM 两种代码方式，简单来说，spitial attention 矩阵 与 channel attention 矩阵相乘得到 SA+CA的效果。

加强SA+CA理解

来自 Mr DaYang 的 blog 里面的图片

空间注意力机制和通道注意力机制解释

来自vodka、的blog笔记

attention机制

Attention模型架构

1.空间注意力模型(spatial attention)

2.通道注意力机制

3.空间和通道注意力机制的融合

CBAM 和 BAM
CBAM 和 BAM

CBAM 和 BAM

参考知乎作者 图像博士的橘猫上 的CBAM 和 BAM

BLOG1的笔记

重点及总结

1.加入CBAM的额外开销忽略不计，这点我测试过。
2.通道注意力的模块放在空间注意力模块之前
3.如何还原经过通道CAM和SAM的特征图的，通过与原来特征图的相乘得到。

BLOG2

重点看下这篇文章

注意力机制BAM和CBAM详细解析（附代码）（提供了代码链接）

BAM 具体结构

空洞卷积