Learning regional attention convolutional neural network for motion intention based on EEG
这篇论文创新点：
1、特征是频域-空间-时域的特征，和以往特征相比，更加全面。
2、 论文提出了RACNN, 适应性激活了不同脑区。
3、 论文集合了区域特征，这些区域特征通过cnn 这样的主框架，保证了一个固定长度的embedding。然后受启发于左右大脑的不对称，使用了不同region attention loss,保证了最高attention 的区域是最重要的区域。
Emotive:
这里边选择了九个通道作为运动想象通道，准确率其实没有提高太多，最重要它通过这种方式是真的减少了通道数目。
充分利用了time-frequency的特征，但是使用filter-bank的想法并不是作者提出的，是在FBCSP 中已经提出来。
小波变换---离散小波变换---后来是可以改变的小波变换，也就是傅里叶变换---- 再后来是滤波bank的共同空间模式，但是这样的算法，一般都使用了machine learning. 一般使用了矩阵分解，没有使用神经网络。
这篇论文之所以能中顶会，主要是提出了创新性的attention， 在小数据模型中尽量减少参数。
第一层 attention
是论文中用参数最少的attention，使用cnn中的golbal pooling average, 来完成。 然后使用了tanh函数变成一个权重。 tanh 函数，把权值把原有的差异性变大。
第二层 attention
其中self-attention 也不是作者的创新，经典的self-attention.以下才是attention
N* feature 加入attention = feature* attention ,其中 attention = softmax( N*feature* Q). ，也就是文章中的 β。
softmax 也就是归一化，但是作者没有使用简单的attention * feature. ， 而是增加了一个最小的region-attention 的，是所在区域中最小的注意力参数。也就是说这里边除了有一个这样的注意力之前，还增加了一个所在区的最小注意力的权重。 同时最后的featrue 又乘以所有权重和的导数。这个值是所有feature 都相乘的权重，有什么用？同样倍数的增大，和同事乘以1000 是一样的效果。
相乘倒数这件事，并没有什么用。能做大的可能是差异性。最有用的还是 每个区的最小权重和学习出的权重相乘，对最后feature造成影响。
论文最后的attention_loss， 文章提到希望能找出最好区域，但是最后的公式
， 很明显，想找出最重要的通道。。。。
所以我在想，作者这笔是不是应该写为：
, 这样才能找到权重不一样的区域。
我的想法：
在消融实验中，第一个结果是 74.6%，没有使用attention loss, 第二个使用了attention loss,但是结果是70.1. 这是证明了结论了么？
第三个实验， 使用了log baseline 和 第二个参数下的结果，76.8. 为什么不跑没有attention + log baseline的结果呢？ 这里的结论有点虚啊。
感觉不是很好地证明了attention loss的重要性，而且我自己跑的结果也发现，attention 加入后，一般效果会更差一些。
实验有没有可以提高的部分：
1、因为这篇论文跑的是运动想象，结果都不是太好，另外一个数据集准确率在37.9%，有点太低了。
2、最后average pool + tanh 真的可以作为每个channel的权重么？ 特别是枕叶区，作为视觉脑电通道，它的频率高，agerage 肯定值可能会比较大，最后的权重也大么？ 不科学啊！