lstm(一) 演化之路

递归神经网络引入了时序的反馈机制，在语音、音乐等时序信号的分析上有重要的意义。
Hochreiter(应该是Schmidhuber的弟子)在1991年分析了bptt带来的梯度爆炸和消失问题，给学习算法带来了梯度
震荡和学习困难等问题；
Hochreater和Schmidhuber在1997年提出了LSTM的网络结构，引入CEC单元解决bptt的梯度爆炸和消失问题；
Felix Gers(Schmidhuber是指导人之一)2001年的博士论文进一步改进了lstm的网络结构，增加了forget gate和peephole；
Alex Graves(Schmidhuber的弟子)2006年提出了lstm的ctc训练准则。

第一步：RNN->基本lstm

参考文献[1]和[2]

问题

问题一：gradient

BPTT学习算法存在梯度爆炸和消失问题(gradient blow up or vanish)，简单通过local error flow分析如下：
对RNN的隐层进行unfolding后，可以得到如下的递推关系：

ϑj(t)=f′j(netj(t))∑iwijϑi(t+1)

可以理解为t+1时刻的error通过 wij 传递到t时刻的j节点。
对于t时刻的节点u，通过bptt可以传递到t-q时刻的节点u，不难得到递推关系如下：

∂ϑv(t−q)∂ϑu(t)=⎧⎩⎨f′v(netv(t−1))wuvf′v(netv(t−q))∑nlq−1=1∂ϑlq−1(t−q+1)∂ϑu(t)wlq−1vq=1q>1

由此可以递推：

∂ϑlq−1(t−q+1)∂ϑu(t)=f′lq−1(netlq−1(t−q+1))∑lq−2=1n∂ϑlq−2(t−q+2)∂ϑu(t)wlq−2lq−1

......

设 lq=v 以及 l0=u 最后可得：

∂ϑv(t−q)∂ϑu(t)=∑l1=1n...∑lq−1=1n∏m=1qf′lm(netlm(t−m))wlmlm−1

所以后面的联乘公式对于梯度的传播影响很大，如果

|f′lm(netlm(t−m))wlmlm−1|>1.0

会有梯度爆炸问题，反之，有梯度消失问题。
直观上理解，error向后传播的时候，每向前传递一步都需要乘以对应的系数W，系数W的大小会导致梯度的异常。

问题二：conflict

• input weight conflict
  假设 wji 表示输入层到隐层之间的连接，对于有些输入希望尽可能通过，也就是 wji 比较大，但是另外一些无关的输入可能希望尽可能屏蔽掉，也就是 wji 尽可能为0。而实际网络中的 wji 参数是跟输入无关，对于所有的输入，它的大小是一致的。由于缺少这种自动调节功能，从而导致学习比较困难。
• output weight conflict
  同理，隐层到输出层之间也存在放行和屏蔽的conflict。

解决

1997年Hochreiter和Schmidhuber首先提出了LSTM的网络结构，解决了传统RNN的上面两个问题。

问题一的solution

lstm通过引入CEC(constant error carrousel)单元解决了梯度沿时间尺度unfolding带来的问题。
首先梯度的递推关系如下：

ϑj(t)=f′j(netj(t))∑iwijϑi(t+1)

要想梯度传播没有异常的话，最容易的想法是：

f′j(netj(t))wij=1

这里进一步简化这个问题，可以如下约定：

fj(x)=x

wjj=1

wij=0(i≠j)

相比之前的RNN结构，做了如下改变：
1. 矩阵 Whh 简化为对角矩阵，也就是只允许节点的自旋，不允许隐层的其他节点连接到本节点
2. 激活函数sigmoid替换为了线性函数 f(x)=x

以上两点保证了error可以无损由t时刻传递到t-1时刻，如上图中的 scj(t)=scj(t−1)+gyinj ，CEC是lstm的核心部件

问题二的solution

针对问题二，lstm引入了两个gate：input gate（对应图中的 inj ）可以控制某些输入进入cell（对应图中的 cj ）更新原来存储的信息，或者屏蔽输入以保持cell存储的信息不变；output gate（对应图中的 outj ）以控制cell的信息对输出产生多大程度的影响。
以output gate为例，直观上可以理解为（个人理解，欢迎讨论）：
传统RNN隐层到输出层的连接是由参数 wkj 控制的，由于对所有的隐层输出， wkj 都是一视同仁的，这对于传统的DNN模型来讲是没有问题，因为DNN模型不会考虑历史信息，DNN可以理解为一个简单的函数，一个输入有对应的输出就可以了，没有必要使用gate加以限制。
但是对于RNN来讲，这种一视同仁则是不合理的，因为它需要存储历史信息，而且该历史信息会对当前的输出产生影响（有些时候是至关重要的影响），比如说”I grew up in France… I speak fluent French”，此时的France对French的影响将会是决定性的。所以lstm引入了gate来改善这种一视同仁的不良现状，为什么gate会改善这种不良现状呢？
因为此时的输出结果不再只由 wkj 来控制了，还会受到output gate开门或者关门的影响，而output gate开门或者关门的控制权是由 woutji 参数以及输入x等参数控制的，所以此时的输出多了一条watchdog，参数增多了控制的将会更精确。

第二步：lstm + forget gate

参考文献[3]

问题

传统的lstm存在一个问题：随着时间序列的增多，lstm网络没有重置的机制（比如两句话合成一句话作为输入的话，希望是在第一句话结束的时候进行reset），从而导致cell state容易发生饱和，进一步会导致cell state的输出h（趋近于1）的梯度很小（sigmoid函数在x值很大的时候梯度趋向于0），阻碍了error的传入；另一方面输出h趋近于1，导致cell的输出近似等于output gate的输出，意味着网络丧失了memory的功能。

解决

在传统lstm的基础之上，引入了forget gate。使用这种结构可以让网络自动学习什么时候应该reset。具体做法即为使用 yφ 替换原来的CEC的常量1.0，定义如下;

netφj(t)=∑mwφjmym(t−1)

yφj(t)=fφj(netφj(t))

forget gate的引入可以解决需要内部切割（hierarchical decomposition）但又不知道切割位置的序列问题。

第三步：lstm+peephole

参考文献[3]

问题

lstm的gate的输入包含两个部分，网络输入和上一时刻（t-1）网络的输出。
此时如果output gate关闭（值接近0）的话，网络的输出（t时刻）将为0，下一时刻（t+1）网络gate将完全跟网络输入有关，就会丢失历史信息。

解决

增加CEC到各个gate之间的连线，使得CEC(const error carrousels)和gate之间存在双向的关联，CEC收到当前时刻gate的限制，同时又会影响下一时刻的gate。
- input gate和forget gate的输入增加一项 s(t−1)
- output gate的输入增加一项 s(t)

peephole使得网络可以记录更多的时序上的关联性，有助于提取相关事件准确周期的相关信息，可以应用于音乐韵律的分析等工作。

第四步：CTC训练准则

ctc训练

参考

[1]《Untersuchungen zu dynamischen neuronalen Netzen》 Hochreiter（德文的，人家的硕士论文）
[2]《Long Short-Term Memory》 Hochreiter, Sepp; Schmidhuber
[3]《Long Short-Term Memory in Recurrent Neural Networks》 Felix Gers
[4]《Supervised Sequence Labelling with Recurrent Neural Networks》 Alex Graves
[5] http://colah.github.io/posts/2015-08-Understanding-LSTMs/