【知识星球】Attention网络结构上新,聚焦才能赢

【知识星球】Attention网络结构上新,聚焦才能赢_第1张图片

继续咱们的“网络结构1000变”板块,最近上新的内容主要是Attention机制相关的网络结构,即网络如何选择真正感兴趣的区域进行处理,下面是一个代表,更多请移步知识星球网络结构1000变板块。

有三AI知识星球-网络结构1000变

CBAM

【知识星球】Attention网络结构上新,聚焦才能赢_第2张图片

以前介绍过的Dynamic Capacity Network,Perforated CNNs是从空间维度进行Attention,SENet是从通道维度进行Attention,而CBAM(

Convolutional Block Attention Module)则是同时从空间维度和通道维度进行Attention。

作者/编辑 言有三

通道方向的Attention通过通道内的空间关系获取,原理如下:

【知识星球】Attention网络结构上新,聚焦才能赢_第3张图片

同时使用最大pooling和均值pooling算法,然后经过几个MLP层获得变换结果,最后分别应用于两个通道,使用Sigmoid函数得到通道的Attention结果。

空间方向的Attention通过通道之间的空间关系获取,原理如下:

【知识星球】Attention网络结构上新,聚焦才能赢_第4张图片

首先将通道本身进行降维,分别获取最大池化和均值池化结果,然后拼接,再使用一个卷积层进行学习。

这两种机制,分别学习了“怎么看”,“以及看什么”,这样的两个模块可以很容易地嵌入到任何已知的框架中。

【知识星球】Attention网络结构上新,聚焦才能赢_第5张图片

上表展示了将这个方法用于不同模型后的结果,可知道该模型和SENet性能相当,都显著提升了baseline的性能,尤其是较深的ResNet50和ResNet101。

转载文章请后台联系

侵权必究

【知识星球】Attention网络结构上新,聚焦才能赢_第6张图片

640?wx_fmt=png

640?wx_fmt=png

往期精选

  • 【知识星球】千奇百怪的网络结构板块更新到哪里了?

  • 【知识星球】动态推理网络结构上新,不是所有的网络都是不变的

  • 【知识星球】做作业还能赢奖金,传统图像/机器学习/深度学习尽在不言中

  • 有三AI知识星球官宣,BAT等大咖等你来撩

  • 揭秘7大AI学习板块,这个星球推荐你拥有

  • 有三AI“夏季划”出炉,今夏进阶中级CV算法工程师

你可能感兴趣的:(【知识星球】Attention网络结构上新,聚焦才能赢)