Empirical Evaluation of Gated Recurrent Neural Networks on Sequence Modeling读后感

论文地址
此文仅仅记录一下自己的学习过程

循环神经网络历史背景

循环神经网络是一个序列模型,它与传统CNN最大的不同在于它具有记忆性,它可以记录以前的状态,根据以前的状态和当下的输入生成一个新的状态。它同时也是一个概率生成模型,印象中我感觉它跟HMM有很多相同点,不过HMM能训练的参数比较少,这也许就是HMM比较弱的原因。继续回到循环神经网络,它在训练的时候有一个很大的问题,就是梯度消失和梯度爆炸,人们争对梯度消失有两种解决办法,一个是改进梯度学习算法,有一个叫clipped gradient的东西,这个我还没有了解。另一个办法就是,设计一个新的激活函数来取代传统的激活函数,根据这个就有了两个很经典的模型LSTM和GRU。今天就学到这里,明天继续。。。

你可能感兴趣的:(nlp)