《Memory Networks》阅读笔记

论文链接：https://arxiv.org/pdf/1410.3916.pdf

包括inference components和a long-term memory component

long-term memory可以读写，用于prediction。

---

Introduction：

大多数神经网络模型不能读写long-term memory部分，同时也不能与inference紧密连接。因此，RNN的memory(encoded by hidden states and weights)太小了。

The central idea is to combine the successful learning strategies developed in the machine learning literature for inference with a memory component that can be read and written to.

模型被训练的去有效地操作memory component

---

Memory Network：

一个memory network包括a memory m(an array of objects indexed by mi，objects可以是vectors或strings)，四个components：I，G，O，R

I：（input feature map），将输入转换为internal feature representation；G：（generalization），根据新的输入更新memories，称作泛化是因为网络有机会压缩和泛化它的记忆，以备将来只需；O：（Output feature map），根据新的输入和memory state生成新的输出；R：（response），将输出转换为所需的response format，例如：a textual response or an action

给定一个输入 x（例如：一个输入字符，单词或句子，一个图像或音频信号），模型的流程如下：

1. 转换x为internal feature representation I(x)     

2. 根据新输入更新mi：mi=G(mi, I(x), m), 任意的i      

3. 根据输入和memory计算输出： o=O(I(x), m)     

4. 最后，decode输出feature o，给出最后的response：r=R(o)

模型的训练和测试阶段都需要进行这些步骤，只是在测试阶段不更新参数了。

I component: 利用标准的预处理过程，例如parsing， 转换文本到dense feature vector

G component: 最简单的方法是将I(x)保存在memory中的一个槽slot中。

H(.)是选择slot的函数。G可以更新memory中的H(x)，其他部分都不变。

如果memory很大，不用操作全部的memory。如果memory满了，可以使用forgetting

O and R component：O往往是从memory中读取然后做inference。R生成response，例如在QA任务中，R会生成答案，R可能是一个RNN(conditioned on the output of O)，文章有一个假设:

Out hypothesis is that without conditioning on such memories, such an RNN will perform poorly

---

Basic model：

I获取输入文本，假设其是一个句子，或者是一个陈述、事实或可以被系统回答的问题。文本会被存储在下一个可用的memory slot中，以其原本的形式。使用新的memory，旧的memory不会被更新。

O，生成输出的特征，通过找到k个memory:

k=1

k=2的情况，在找到第一个的情况下，找第二个

k=2

最终的输出o是[x, mo1, mo2]

对于R，最简单的response是返回mok

R

Score函数：So和Sr