2021-01-12 IJCAI-20 Learning regional attention convolutional neural network for motion intentio...

Learning regional attention convolutional neural network for motion intention based on EEG

  这篇论文创新点：

1、特征是频域-空间-时域的特征，和以往特征相比，更加全面。

2、 论文提出了RACNN, 适应性激活了不同脑区。

3、 论文集合了区域特征，这些区域特征通过cnn 这样的主框架，保证了一个固定长度的embedding。然后受启发于左右大脑的不对称，使用了不同region attention loss,保证了最高attention 的区域是最重要的区域。

Emotive:

这里边选择了九个通道作为运动想象通道，准确率其实没有提高太多，最重要它通过这种方式是真的减少了通道数目。

充分利用了time-frequency的特征，但是使用filter-bank的想法并不是作者提出的，是在FBCSP 中已经提出来。

小波变换---离散小波变换---后来是可以改变的小波变换，也就是傅里叶变换---- 再后来是滤波bank的共同空间模式，但是这样的算法，一般都使用了machine learning. 一般使用了矩阵分解，没有使用神经网络。

这篇论文之所以能中顶会，主要是提出了创新性的attention， 在小数据模型中尽量减少参数。

第一层 attention

是论文中用参数最少的attention，使用cnn中的golbal pooling average, 来完成。 然后使用了tanh函数变成一个权重。 tanh 函数，把权值把原有的差异性变大。

tan

第二层 attention

其中self-attention  也不是作者的创新，经典的self-attention.以下才是attention

N* feature 加入attention =   feature* attention ,其中 attention = softmax( N*feature* Q). ，也就是文章中的 β。

softmax 也就是归一化，但是作者没有使用简单的attention * feature. ， 而是增加了一个最小的region-attention 的，是所在区域中最小的注意力参数。也就是说这里边除了有一个这样的注意力之前，还增加了一个所在区的最小注意力的权重。 同时最后的featrue 又乘以所有权重和的导数。这个值是所有feature 都相乘的权重，有什么用？同样倍数的增大，和同事乘以1000 是一样的效果。

相乘倒数这件事，并没有什么用。能做大的可能是差异性。最有用的还是 每个区的最小权重和学习出的权重相乘，对最后feature造成影响。

论文最后的attention_loss， 文章提到希望能找出最好区域，但是最后的公式

， 很明显，想找出最重要的通道。。。。

所以我在想，作者这笔是不是应该写为：

, 这样才能找到权重不一样的区域。

我的想法：

在消融实验中，第一个结果是 74.6%，没有使用attention loss, 第二个使用了attention loss,但是结果是70.1. 这是证明了结论了么？

第三个实验， 使用了log baseline 和 第二个参数下的结果，76.8.  为什么不跑没有attention + log baseline的结果呢？ 这里的结论有点虚啊。

感觉不是很好地证明了attention loss的重要性，而且我自己跑的结果也发现，attention 加入后，一般效果会更差一些。

实验有没有可以提高的部分：

1、因为这篇论文跑的是运动想象，结果都不是太好，另外一个数据集准确率在37.9%，有点太低了。

2、最后average pool + tanh 真的可以作为每个channel的权重么？ 特别是枕叶区，作为视觉脑电通道，它的频率高，agerage 肯定值可能会比较大，最后的权重也大么？  不科学啊！