End-to-End Memory Network

Introduction

构建一个能在回答一个问题或者完成一个任务总执行多个计算步骤，并且能够描述序列数据的长程依赖的模型，是人工智能的两大挑战。

最近，许多使用显示存储和注意力机制的计算模型热门起来了，通过操作这样一个存储提供了一个解决这两个挑战的方法。在[23,8,2]中，存储被赋予了一个连续表示；通过神经网络的动作来对存储的读写或者其他处理步骤进行建模。

这个新颖的RNN结构，它能在输出一个符号之前能够循环的从一个相当大的外部Memory(记忆，存储)读出多次。可以认为是在[23]中实现的Memory Network的一个连续形式。然而[23]中的网络很难有反向传播训练，并且网络每一层都需要监督。但是这篇文章提出的MemN2N的连续性使得它能够采用end-to-end的方式训练input-output pairs，能适用更多的任务；比如监督不可用的任务，例如在语言模型或者实际监督的问答任务。当然这个模型也可以看成有单个输出有多个计算步骤（hops）的RNNsearch的一个版本。论文通过实验展现了在长期记忆上的多计算步（Multi-hops）对模型有良好性能至关重要的，Memory representation的训练是一种可扩展的方式被注入这个end-to-end的神经网路模型。