ch10.1 注意力机制的生物起源

文章参考，动手学深度学习；

10.1 生物学中的注意机制

10.1.1 影响注意力的 两种因素

人类的注意力会受到两种因素的影响：

1. 非自主性提示： 通常是由外界的因素主导，比如基于环境中物体的突出性和易见性。

2. 自主性提示： 收到人类自身意识的控制， 比如自己已有的习性，过往的认知 和 自身意识的主动控制， 从而注意力在收到自主性提示 去选择时， 更为谨慎；

基于以上两种因素， 从而选择了注意力的焦点，

1. 非自主性提示： 想象一下，假如你面前有五个物品： 一份报纸、一篇研究论文、一杯咖啡、一本笔记本和一本书， 就像 图10.1.1。 所有纸制品都是黑白印刷的，但咖啡杯是红色的。 换句话说，这个咖啡杯在这种视觉环境中是突出和显眼的， 不由自主地引起人们的注意。 所以你把视力最敏锐的地方放到咖啡上， 如 图10.1.1所示。

2. 自主性提示：

喝咖啡后，你会变得兴奋并想读书。 所以你转过头，重新聚焦你的眼睛，然后看看书， 就像 图10.1.2中描述那样。 与 图10.1.1中由于突出性导致的选择不同， 此时选择书是受到了认知和意识的控制， 因此注意力在基于自主性提示去辅助选择时将更为谨慎。 受试者的主观意愿推动，选择的力量也就更强大。

10.1.2 只有非自主性的情况

假设没有自主性的情况（没有大脑的自主意识作用时）

只有非自主性的提示：

此时人眼感官输入的内容， 只会受到外界物体特性的影响（即将外界的物体，数值化， 物体越大，或者颜色越亮， 数值越大， 则越有可能成为人眼的输入内容）；

这种情况可以使用含有参数的全连接层 和 没有参数的池化层 来模仿出这种情况；

10.1.3 同时包含非自主性和自主性的情况

如果我们将包含了自主性提示的称作注意力机制，

那么是否包含了 自主性提示(query) 可以用来区分 全连接层 和 注意力机制；

1. 外界物体自身所自带的属性作为键(key)；

2. 值 value : 在实践中， 也是通过 物体自身所提取出来的一种属性， 可以看做是对输入做的另外一种映射特征， 这种映射特征更方便于将各个输入 区分开来；

注意 属性key 和 属性 value 的 不同之处在于， key 的属性要 和 人脑的自主意识出来的属性query 要有关联， 这样去算key 和 query的 相关性分数才有意义，

3. 人脑主观出来的意识作用， 称为 query ( 人脑意识性的搜索，关注)；

4. 通过非自主性和自主性的提示下， 生成注意力分数 (即通过key 和 query 得到注意力分数)， 再将这些注意力分数分别作用于value;

最终的输出， 便是各个注意力分数与value 的加权和；

注意到， 其中注意力是通过非自主性和自主性共同作用下生成的，

也就是说最初的注意力构成成分来自于以下两个方面 ：

1. 非自主性部分： 外界物体本身特性， 通过提取这些物体本身的特性构成注意力中的成分；

2. 自主性部分： 始终是来源于人类的意识部分， 人类主观的先验知识， 意识与 心灵的作用， 通过人类的先验知识 query 作为 注意力中的构成成分；