attention机制--加权

 

Attention机制就是加权，目前其实现形式包括三种，我们把它归纳成：

1、基于CNN的attention

2、基于RNN的attention

3.self-Attention，即Transformer的结构。

Attention in CNN

其中基于CNN的Attention可以分为通道域和空间域的，分别可以去看se-block,cbam-block，其他的多数是这两个的变种。

这里简单说一下，比如通道域，在某层的feature map有64个通道，则多每个通道赋一个权重，即

其中表示每个通道的权重，表示每个通道的原始特征，表示每个通道加权后的特征，而权重是从原始所有特征中用小型神经网络算出来的，可以认为权重能够自动捕获通道间的依赖关系。