043、循环神经网络

之——RNN基础

杂谈

        第一个对于序列模型的网络,RNN。


正文

1.潜变量自回归模型

        潜变量总结过去的信息,再和当前信息一起结合出新的信息。

043、循环神经网络_第1张图片


2.RNN

        循环神经网络将观察作为x,与前层隐变量结合得到输出

043、循环神经网络_第2张图片

043、循环神经网络_第3张图片

       其中Whh蕴含了整个模型的时序信息,Whx表征了对新的观察的方式。

        它的学习的过程就是在观察当前字的时候要去以生成下一个字为目的地学习:

043、循环神经网络_第4张图片


3.衡量语言模型

        043、循环神经网络_第5张图片


4.梯度裁剪

        

043、循环神经网络_第6张图片

        如果梯度超过阈值,就把梯度拖回阈值:

043、循环神经网络_第7张图片

 


5.RNN更多应用

        043、循环神经网络_第8张图片

你可能感兴趣的:(torch,rnn,人工智能,深度学习)