李宏毅深度学习——Recurrent Neural Network (RNN)

 上图中当我们输入Taipei,一个表达的是目的地，另一个表达的是出发地，我们该如何让神经网络在输入相同时，按照情景不同输出不同，这就需要让神经网络具有记忆功能，能够根据Taipei之前面的单词决定相应输出。

 

RNN是具有记忆功能的网络。隐藏层的输出值被储存在了memory中，memory可以继续作为另一个输入值。

例如下图。设所有的权重都为1，没有偏置值。设在开始时memory为0，所以绿色部分的值计算过程为1*1+1*1+0+0=2。此时将2更新到memory中。橘色部分计算为2*1+2*1=4。输入值[1,1]T输出值为[4,4]T

 

输出值[1,1]T

绿色 1*1+1*1+2*1+2*1=6   将6储存到memory中

橘色 6*1+6*1=12   

输出值[12,12]T

输出值[2,2]T

绿色 2*1+2*1+6*1+6*1=16   将16储存到memory中

橘色 16*1+16*1=32   

输出值[32,32]T

需要注意的是，当改变了输入值的顺序时，输出值的顺序会因为存入memory中的数不同发生改变。

 RNN就是不断的重复上述的结构。

 当神经原因有记忆功能时，输入值不同会使得memory不同,在memory当有了初始memory之后，再输入相同的值,也会产生不同的output。

 RNN也可以变深。以及双向RNN

 

重要结构LSTM

 LSTM有4个input（input,input gate,forget gate,output gate）,一个output.

因此，LSTM 的参数量是CNN的四倍。

激活函数通常使用sigmoid，得到一个0~1之间的数，表示这个gate打开的几率。

 

 

 

 Ct-1为t-1轮储存在cell中的值。如此循环下去

 

 在Keras 中提供了LSMT,GRU,SimpleRNN等layer.

 

然而RNN很不稳定

 

 可以采用clipping,如设threshold=15，当gradient>15时就另其=15.