注意力机制&RNN

RNN循环神经网络

注意力机制

动物需要在复杂环境下有效关注值得关注的点。

心理学：人类有意识或无意识选择注意点。

卷积、全连接、池化都只考虑不随意线索。

注意力机制显示考虑随意（有意）线索。（想要干嘛）

• 随意线索被称之为查询（query），自己的想法，显示加入query

• 每个输入是一个值（value）和不随意线索（key）的对，value不一定等于key，value是我觉得对我什么用

• 通过注意力池化层 （attention pooling）来有偏向性的选择某些输入。

  Nadaraya-Watson核回归

kernel，核函数（svm）衡量x核xi距离函数。k越大距离近，越小距离远。

上式把离x近的拿出来。

除exp等于softmax，给0-1之间的值，作为权重套到y上。

参数化注意力机制

总结

• 心理学认为人通过随意线索核不随意鲜果选择注意点
• 注意力机制中，通过query（随意线索）和key（不随意线索）有偏向性的选择输入
• 可以写作f（x）=Σiα（x，xi）yi，α（x，xi）距离权重

注意力分数

权重0~1，加起来合为1。分数没有normalize

asf：注意力分数函数。query 可能是向量

（transformer里用到）

注意力分数是query和key的相似度，注意力权重是分数的softmax结果

两种常见的分数计算：（目前attention）

• 将query和key合并起来进入一个单输出单隐藏层NLP
• 直接将query和key内积（长度相同，没学参数）