深度学习：注意力机制与外部记忆

前言

神经网络中可以存储的信息量称为网络容量（Network Capacity）. 一般来讲，其存储容量和神经元的数量以及网络的复杂度成正比. 如果要存储越多的信息，神经元数量就要越多或者网络要越复杂，进而导致神经网络的参数成倍地增加。对于人类来说，在有限的资源下，并不能同时处理这些过载的输入信息，而大脑神经系统有两个重要机制可以解决信息过载问题：注意力和记忆机制。那么神经网络同样也是可以通过这两个机制来提高神经网络存储信息的容量，即通过自上而下的信息选择机制来过滤掉大量的无关信息和引入额外的外部记忆。

注意力在神经学上的认知

注意力一般分为两种：
（1）聚焦式注意力（Focus Attention）. 聚焦式注意力也常称为选择性注意力（Selective Attention），是指有预定目的、 依赖任务的， 主动有意识地聚焦于某一对象的注意力。
（2）基于显著性的注意力（Saliency-Based Attention），该注意力是由外界刺激驱动的注意， 不需要主动干预，也和任务无关。
具体例子：
一个和注意力有关的例子是鸡尾酒会效应. 当一个人在吵闹的鸡尾酒会上和朋友聊天时，尽管周围噪音干扰很多，他还是可以听到朋友的谈话内容， 而忽略其他人的声音（聚焦式注意力）。同时，如果未注意到的背景声中有重要的词（比如他的名字），他会马上注意到（显著性注意力）。

记忆增强神经网络

为了增强网络容量，我们可以引入辅助记忆单元，将一些和任务相关的信息保存在辅助记忆中， 在需要时再进行读取， 这样可以有效地增加网络容量。这种装备外部记忆的神经网络也称为记忆增强神经网络（Memory Augmented Neural Network，MANN），或简称为记忆网络（Memory Network，MN）。外部记忆从记忆结构、读写方式等方面可以演变出很多模型。比较典型的结构化外部记忆模型包括端到端记忆网络、神经图灵机等。

端到端记忆网络

神经图灵机

Hopfeld网络

Hopfeld 网络（Hopfeld Network）是一种循环神经网络模型， 由一组互相连接的神经元组成。Hopfeld 网络也可以认为是所有神经元都互相连接的不分层的神经网络. 每个神经元既是输入单元，又是输出单元，没有隐藏神经元。一个神经元和自身没有反馈相连，不同神经元之间连接权重是对称的。

对于离散的Hopfeld 网络，神经元状态为 +1, -1两种。

Hopfeld 网络的更新可以分为异步和同步两种方式. 异步更新是每次更新一个神经元. 神经元的更新顺序可以是随机或事先固定的。同步更新是指一次更新所有的神经元， 需要有一个时钟来进行同步。

在Hopfeld网络中，我们给每个不同的网络状态定义一个标量属性，称为“能量”。Hopfeld网络是稳定的，即能量函数经过多次迭代后会达到收敛状态。