[nlp] NTM神经图灵机（Neural Turing Machine-DeepMind）

关于NTM：神经图灵机

神经图灵机包含两个基本组成部分：神经网络控制器和记忆库。

控制器通过输入输出向量和外界交互。
不同于标准神经网络的是，控制器还会使用选择性的读写操作和记忆矩阵进行交互。类比于图灵机，我们将网络的参数化这些操作的输出称为**“读头”。
最关键的是，每个组成部分都是可微的**，这样可以更加直接地使用梯度下降进行训练。

我们通过定义 模糊的读写操作 根据一个更高或者更低的度（degree）和的记忆中的所有元素进行交互（而不是像在正常的图灵机或者数字计算机那样一次只是处理一个单个的元素）。
这个模糊的度 由一种 注意力聚焦机制 确定，将每个读写操作限制在记忆中的一小块上，忽略其他部分。因为和记忆的交互是高度稀疏的，NTM 倾向于无干扰地存储数据。进入注意力聚焦的记忆位置由读头特定的输出确定。这些输出定义了一个规范化的权重在记忆矩阵的行上（对应于内存位置）。
每个权重，对应于一个读头或者写头，定义了在每个位置读写的程度。读头可以在单个位置相当重视或者分散精力在若干位置。