2021NIPS | 即插即用,标准化注意力机制NAM

NAM: Normalization-based Attention Module 

paper:https://arxiv.org/pdf/2111.12419.pdf

code:https://github.com/Christian-lyc/NAM

摘要 

        注意机制是近年来人们普遍关注的研究兴趣之一。它帮助深度神经网络抑制较不显著的像素或通道。以往的许多研究都集中于通过注意力操作来捕捉显著特征。这些方法成功地利用了不同特征维度上的互信息。然而，它们没有考虑到权重的贡献因素，而权重能够进一步抑制不重要的信道或像素。本文利用权重的贡献因素来改善注意机制。使用一个批处理（BN）归一化的缩放因子，它使用标准偏差来表示权重的重要性。这可以避免添加在SE、BAM和CBAM中使用的全连接和卷积层。因此，提出了一种有效的注意机制——基于标准化的注意模块(NAM)。

论文背景

        许多先前的工作试图通过抑制无关紧要的权值来改善神经网络的性能。Squeeze-and-Excitation Networks(SENet) 将空间信息整合到通道特征响应中，并使用两个多层感知器(MLP)层计算相应的注意。Bottleneck Attention Module(BAM)并行构建分离的空间子模块和通道子模块，它们可以嵌入到每个Bottleneck  Block中。Convolutional Block Attention Module(CBAM)提供了一种顺序嵌入通道和空间注意力子模块的解决方案。为了避免忽视跨维度的相互作用，Triplet Attention Module (TAM) 通过旋转特征图考虑维度相关性。然而，这些工作忽略了来自训练中调整权重的信息。因此，本文的目标是通过利用训练模型权重的方差度量来突出显著特征。

论文主要思想

        本文提出NAM作为一种高效和轻量级的注意机制。采用了来自CBAM的模块。并重新设计通道和空间注意子模块。然后，在每个网络块的末端嵌入一个NAM模块。对于残差网络，它被嵌入在残余结构的末端。对于信道注意子模块，使用了批归一化(BN)的缩放因子。尺度因子测量了信道的方差，并表明了它们的重要性。

其中为均值，为方差；和是可训练的仿射变换参数(尺度和位移)。 

通道注意力子模块如图1所示，其中表示输出特征。是每个通道的比例因子，权值为。这里还将BN的比例因子应用于空间维度，来衡量空间特征的重要性。

对应的空间注意力子模块如图2所示，其中输出记为，为比例因子，权值为。

keras实现 

以下是根据论文和pytorch源码实现的keras版本(支持Tensorflow1.x)。

from keras.layers import Layer
import numpy as np
import keras.backend as K


class NAM(Layer):
    def __init__(self, **kwargs):
        super(NAM, self).__init__()
        self.bn = BatchNormalization()

    def build(self, input_shape):
        self.bn.build(input_shape)
        self._trainable_weights += self.bn._trainable_weights
        super(NAM, self).build(input_shape)

    def call(self, x):
        residual = x
        x = self.bn(x)
        weights = np.abs(self.bn.gamma) / np.sum(np.abs(self.bn.gamma))
        x = x * weights
        x = K.sigmoid(x) * residual
        return x

声明：本内容来源网络，版权属于原作者，图片来源原论文。如有侵权，联系删除。

创作不易，欢迎大家点赞评论收藏关注！（想看更多最新的注意力机制文献欢迎关注浏览我的博客）