Residual Attention Network for Image Classification

这是CVPR的文章,讨论关于注意力机制在分类的应用。
paper
github
容易理解的代码

通过使用sigmoid函数对主干网络构建mask,在特征上添加掩码,使网络更加关注主要的特征。

图中Attention Module是注意力模块。在Attention Module模块中上面的通道是主干网络,下面是注意力mask网络。为保留原有的特征,mask和主干网络的融合有两个操作。首先,通过mask和主干网络的进行点积预算,然后,把点积运算的结果和主干网络相加,得到新的特征。

在两个注意力模块之间有残差块进行连接。

使用encoder-decoder结构可以快速获取全局的信息。

实验三种掩码激活函数:

函数发现其实越简单越好,最好的是sigmoid函数:

使用最少参数,就可以达到和ResNet-152同样的精度:

你可能感兴趣的:(Residual Attention Network for Image Classification)