论文笔记：Grid Long Short-Term Memory

Grid Long Short-Term Memory

---

本文主要引进了Grid LSTM，利用LSTM单元生成一个多维的网格，可以应用于向量，序列或者是更高维的数据例如图像。
本文是google deepmind发表
It therefore provides a unified way of using LSTM for both deep and sequential computation
本文主要想把RNN做深，不仅仅是序列的，而且还是深层网络 ，从维度上下手。主要就是利用LSTM隐层单元，构建一个网络结构。

这篇文章先讲了LSTM原理，又讲了stacked LSTM，然后是ｍｕｌｔｉdimensional LSTM，最后引出grid ＬＳＴＭ。
Ｇｒｉｄ　ＬＳＴＭ可以在网络的任何维度扩展深度。在本文即将提到的序列预测问题中，我们设置了２维的网络，一个是序列本身，还有沿深度方向的另一维度。这些单元内部的值不能像ｍｕｌｔｉ　ＬＳＴＭ一样简单的组合，我们待会会探讨一下他们究竟是如何把参数ｃｏｍｂｉｎｅ到一起的。

主要结构：



Ｇｒｉｄ　ＬＳＴＭ跟ｍｕｌｔｉ　ＬＳＴＭ一样，一个Ｎ维的ｂｌｏｃｋ会接受Ｎ个隐层向量和Ｎ个记忆向量作为输入；不一样的是，ｂｌｏｃｋ输出的Ｎ个隐层向量和记忆向量是明确的。
计算方法如下：

如果有一维度的向量对于评估整个模型有用，那么就留下这个向量，只计算其他维度的输出，然后ｃｏｍｂｉｎｅ成一个向量。
有的维度不需要进行ＬＳＴＭ训练，经过激活函数。这些节点仅仅象征性的连接网络，并无实际性作用。

从多个边同时输入。Ｎ个边有输入向量，和输出向量。网格的每个边都有输入或者输入跟它相连。这个机制确保不同边的隐层向量和记忆向量能够紧密相连并不需要混合起来。在神经翻译模型中，我们把输入ｗｏｒｄｓ跟输出的ｗｏｒｄｓ分别从ｇｒｉｄ的不同ｓｉｄｅ输入。

权重共享
能够消除某些不变形，在翻译或者图像模型中，如果ｇｒｉｄ的多个ｓｉｄｅ需要共享权重，我们可以引进ｇｒｉｄ一个新的维度来实现，而不用共享权重。

实验

本文首先在３个算法任务上进行了实验，然后对３个实际性任务进行的实验，包括：字符预测，翻译和数字图像分类（这个可以自己实现一下）。