深度学习CV方向学习笔记5 —— 通道注意力机制

目录

1 问题：MobileNet 中的注意力机制

2 SE 通道注意力机制

2.1 SE 通道注意力机制的定义与作用

2.2 SE过程： Squeeze + Excitation + Scale

3 其他通道注意力机制

4 参考链接

---

1 问题：MobileNet 中的注意力机制

　问题描述：MobileNet 中使用了通道注意力机制，是如何实现的？CNN中还有哪些 Attention?

2 SE 通道注意力机制

　2.1 SE 通道注意力机制的定义与作用

　SE注意力机制，通过自动学习的方式，使用另外一个新的神经网络，获取到特征图的每个通道的重要程度，并赋值权重，从而让神经网络关注权重高的特征通道。

　作用为，提升对当前任务有用的特征图的通道，并抑制对当前任务用处不大的特征通道。同时，全连接FC网络根据loss损失来自动学习特征权重。

　2.2 SE过程： Squeeze + Excitation + Scale

SE ：Squeeze + Excitation + Scale

① 压缩Squeeze

　通过平均池化，将特征图合并压缩，从 H × W × channel，变为 1 × 1 × channel，后者的一个1×1就获得了原始特征图中 H × W 的感受野，

② 激发Excitation

　进行FC全连接，每个通道都生成一个权值，并归一化，同时也是 1 × 1 × channel

③ 还原Scale

　将原始图像乘以权值矩阵，[h,w,c]×[1,1,c] ==> [h,w,c]

3 其他通道注意力机制

　除此之外，还有 ECA、CBAM

① ECA

　是对SE的优化，由于SE第二层Excitation是以个FC层，运算量大，所以用1×1的卷积层代替FC层，降低参数量。

　与SE不同之处在于下图标注处，同时，也能通过 1×1 的卷积层实现各通道间的信息交互。

② CBAM：Convolutional Block Attention Module

　传统的通道注意力机制+空间注意力机制，是 channel(通道) + spatial(空间) 的统一

　将通道权重和输入特征图相乘后再送入空间注意力机制，将归一化后的空间权重和空间注意力机制的输入特征图相乘，得到最终加权后的特征图。

　即对两个Attention进行串联，channel 在前，spatial在后。

4 参考链接

【深度学习】(8) CNN中的通道注意力机制（SEnet、ECAnet），附Tensorflow完整代码_立Sir的博客-CSDN博客_通道注意力机制各位同学好，今天和大家分享一下attention注意力机制在CNN卷积神经网络中的应用，重点介绍三种注意力机制，及其代码复现。在我之前的神经网络专栏的文章中也使用到过注意力机制，比如在MobileNetV3、EfficientNet网络中都是用了SE注意力机制，感兴趣的可以看一下：https://blog.csdn.net/dgvv4/category_11517910.html。那么今天就和大家来聊一聊注意力机制。1. 引言注意力机制源于对人类视觉的研究。在认知科学中，由于信息处理的瓶颈，人类https://blog.csdn.net/dgvv4/article/details/123572065 【深度学习】(1) CNN中的注意力机制（SE、ECA、CBAM），附Pytorch完整代码_立Sir的博客-CSDN博客_se注意力机制大家好，今天和各位分享一下如何使用 Pytorch 构建卷积神经网络中的各种注意力机制，如：SENet，ECANet，CBAM。注意力机制的原理 和 TensorFlow2 的实现方式可以看我下面两篇博文：SENet、ECANet：https://blog.csdn.net/dgvv4/article/details/123572065DANet、CBAM：https://blog.csdn.net/dgvv4/article/details/123888724SE注意力机制（Squeeze-and-Exchttps://blog.csdn.net/dgvv4/article/details/125112972 SeNet || 注意力机制——源代码+注释_仙女不扎马尾.的博客-CSDN博客_senet代码文章目录1 SeNet介绍2 SeNet优点3 Se模块的具体介绍4 完整代码1 SeNet介绍SENet是Squeeze-and-Excitation Networks的简称，由Momenta公司所作并发于2017CVPR，论文中的SENet赢得了ImageNet最后一届（ImageNet 2017）的图像识别冠军SENet主要是学习了channel之间的相关性，筛选出了针对通道的注意力，稍微增加了一点计算量，但是效果比较好。通过学习的方式来自动获取到每个特征通道的重要程度，然后依照这个重要程度https://blog.csdn.net/weixin_42521185/article/details/124330333 【注意力机制】CBAM详解_姚路遥遥的博客-CSDN博客_cbam注意力论文题目：《CBAM: Convolutional Block Attention Module》论文地址：https://arxiv.org/pdf/1807.06521.pdf1. 前言       论文（2018年）提出了一种轻量的注意力模块( CBAM，Convolutional Block Attention Module )，可以在通道和空间维度上进行 Attention 。论文在 ResNet 和 MobileNethttps://blog.csdn.net/Roaddd/article/details/114646354 CBAM：卷积注意力机制模块 - 知乎摘要本文提出了卷积注意力模块（CBAM），这是一种用于前馈卷积神经网络的简单而有效的注意力模块。 给定一个中间特征图，CBAM模块会沿着两个独立的维度（通道和空间）依次推断注意力图，然后将注意力图与输入特征…https://zhuanlan.zhihu.com/p/101590167