循环神经网络

循环神经网络_第1张图片

单层循环神经网络

循环神经网络_第2张图片

每一步的W,U,V都是一样的。 

循环神经网络_第3张图片

循环神经网络_第4张图片

S3=tanh(Uxt+WS2)

循环神经网络_第5张图片

递归的特点

循环神经网络_第6张图片

 

循环神经网络_第7张图片

乘积的形式可以复用中间的结果

循环神经网络_第8张图片

序列很长的。。。。文章的单词可能很大。

循环神经网络_第9张图片

循环神经网络_第10张图片

分块梯度。。。

循环神经网络_第11张图片

循环神经网络_第12张图片

 

循环神经网络_第13张图片

循环神经网络_第14张图片

双向神经网络----更好地学习上下文信息,单方向一般只能学到序列的一半信息(因为另一半信息还没有输出)

 

你可能感兴趣的:(机器学习)