循环神经网络RNN

RNN(Recurrent Neural Network)循环神经网络。

类比血液在体内循环,从过去一直被更新到现在。

RNN具有环路。这个环路可以使数据不断循环。通过数据的循环,RNN一边记住过去的数据,一边更新到最新的数据。

RNN层的循环结构

RNN层的循环结构和它的展开如下图所示。下面的多个RNN层都是同一个层;输出分叉了,也就是说同一个输出被复制了,其中的一个输出将成为自身的输入。

循环神经网络RNN_第1张图片

xt是t时刻的输入数据,输入t时刻的RNN层。各个时刻的RNN层接收t时刻的输入数据和前一个RNN层的输出数据。

RNN的隐藏状态

ht:hidden state,隐藏状态。

ht可由下式表示。

在这里插入图片描述

Wx是将输入x转化为输出h的权重;Wh是将前一个RNN层的输出转化为当前时刻的输出的权重 ;b是偏置 。

ht-1和xt都是行向量。

式子右边先进行矩阵乘积运算,然后用双曲正切函数变换他们的和,得到时刻t的输出ht&#

你可能感兴趣的:(学习笔记,rnn,神经网络)