循环神经网络(RNN)模型与前向反向传播算法笔记

---

这篇文章是看了刘建平老师的循环神经网络(RNN)模型与前向反向传播算法后的笔记，包括一些公式推导，都是自己的理解，如有错误，欢迎指出。

---

RNN模型

RNN主流模型：

  1. ${\mathbf{x}}^{(t)}$代表在序列索引号$t$时训练样本的输入，是$n$x$1$的向量；
  2. ${\mathbf{h}}^{(t)}$代表在序列索引号$t$时模型的隐藏状态，为$m$x$1$的向量；
  3. ${\mathbf{o}}^{(t)}$代表在序列索引号$t$时模型的输出，为$l$x$1$的向量；
  4. $L^{(t)}$代表在序列索引号t时模型的损失函数，是标量；
  5. ${\mathbf{y}}^{(t)}$代表在序列索引号$t$时训练样本的输入，是$l$x$1$的向量；
  6. $\mathbf{U},\mathbf{W},\mathbf{V}$代表模型的线性关系参数，其中，$\mathbf{U}$是$m$x$n$的向量，$\mathbf{W}$是$m$x$m$的向量，$\mathbf{V}$是$l$x$m$的向量。

RNN前向传播算法

略

RNN反向传播算法推导

  1.隐藏层激活函数使用tanh函数，即$$tanh(z)=\frac{e^z-e^{-z}}{e^z+e^{-z}}$$
  其导数为$$1-tan{h}^2(z)$$
  2.输出层激活函数为softmax函数，即
$${\hat{y}}_i^{(t)}=\frac{e^{o_i^{(t)}}}{\sum _{j=1}^l{e}^{o_j^{(t)}}}$$
其向量表达式为
$${\hat{\mathbf{y}}}^{(t)}=\frac{e^{{\mathbf{o}}^{(t)}}}{1^T{e}^{{\mathbf{o}}^{(t)}}}$$
  3.损失函数为
$$L=\sum _{t=1}^{\tau }{L}^{(t)}$$
其中，由于输出为第$i$类，$y_i^{(t)}=1$，其余$y_j^{(t)}=0,j̸=i$，所以$L^{(t)}$有如下表示：
$$\begin{array}{rl}{L}^{(t)}& =-({\mathbf{y}}^{(t)}{)}^T\ln {\hat{\mathbf{y}}}^{(t)}\\ & =-\sum _{i=1}^l{y}_i^{(t)}\ln {\hat{y}}_i^{(t)}\\ & =-\ln {\hat{y}}_i^{(t)}\\ & =\ln \sum _{j=1}^l{e}^{o_j^{(t)}}-o_i^{(t)}\end{array}$$

  $V,c$的梯度先计算$\frac{\partial L^{(t)}}{\partial o^{(t)}}$，由于$L^{(t)}$是标量，而$o^{(t)}$是$l$x$1$的向量，则$\frac{\partial L^{(t)}}{\partial o^{(t)}}$为$l$x$1$的向量，具体计算如下：
$$\begin{array}{rl}\frac{\partial L^{(t)}}{\partial o^{(t)}}& ={\left(\frac{\partial L^{(t)}}{\partial o_1^{(t)}}\dots \frac{\partial L^{(t)}}{\partial o_i^{(t)}}\dots \frac{\partial L^{(t)}}{\partial o_l^{(t)}}\right)}^T\end{array}$$
其中，当$k̸=i$时，
$$\frac{\partial L^{(t)}}{\partial o_k^{(t)}}=\frac{e^{o_k^t}}{\sum _{j=1}^l{e}^{o_j^{(t)}}}={\hat{y}}_k^{(t)}$$
当$k=i$时，
$$\frac{\partial L^{(t)}}{\partial o_i^{(t)}}=\frac{e^{o_i^t}}{\sum _{j=1}^l{e}^{o_j^{(t)}}}-1={\hat{y}}_i^{(t)}-y_i^{(t)}$$
综上，$\frac{\partial L^{(t)}}{\partial {\mathbf{o}}^{(t)}}={\hat{\mathbf{y}}}^{(t)}-{\mathbf{y}}^{(t)}$，其矩阵的求解能得出一样的结论，求解过程可以参照这篇文章：
$$\begin{array}{rl}d{L}^{(t)}& =-d({\mathbf{y}}^{(t)}{)}^T\ln {\hat{\mathbf{y}}}^{(t)}\\ & =tr\left(\frac{({\mathbf{y}}^{(t)}{)}^{T}11^{T}d{e}^{{\mathbf{o}}^{(t)}}}{1^T{e}^{{\mathbf{o}}^{(t)}}}-({\mathbf{y}}^{(t)}{)}^{T}d{\mathbf{o}}^{(t)}\right)\\ & =tr\left(\left(\frac{(e^{{\mathbf{o}}^{(t)}}{)}^T}{1^T{e}^{{\mathbf{o}}^{(t)}}}-({\mathbf{y}}^{(t)}{)}^T\right)d{\mathbf{o}}^{(t)}\right)\\ & =tr\left({\left({\hat{\mathbf{y}}}^{(t)}-{\mathbf{y}}^{(t)}\right)}^{T}d{\mathbf{o}}^{(t)}\right)\\ & =tr\left({\left({\hat{\mathbf{y}}}^{(t)}-{\mathbf{y}}^{(t)}\right)}^{T}d\left(\mathbf{V}{\mathbf{h}}^{(t)}+\mathbf{c}\right)\right)\\ & =tr\left({\left({\hat{\mathbf{y}}}^{(t)}-{\mathbf{y}}^{(t)}\right)}^{T}d\mathbf{V}{\mathbf{h}}^{(t)}+{\left({\hat{\mathbf{y}}}^{(t)}-{\mathbf{y}}^{(t)}\right)}^{T}d\mathbf{c}\right)\\ & =tr\left({\mathbf{h}}^{(t)}{\left({\hat{\mathbf{y}}}^{(t)}-{\mathbf{y}}^{(t)}\right)}^{T}d\mathbf{V}+{\left({\hat{\mathbf{y}}}^{(t)}-{\mathbf{y}}^{(t)}\right)}^{T}d\mathbf{c}\right)\end{array}$$
由上式可以看出，$\frac{\partial L^{(t)}}{\partial \mathbf{V}}=\left({\hat{\mathbf{y}}}^{(t)}-{\mathbf{y}}^{(t)}\right)({\mathbf{h}}^{(t)}{)}^T,\frac{\partial L^{(t)}}{\partial \mathbf{c}}={\hat{\mathbf{y}}}^{(t)}-{\mathbf{y}}^{(t)}$。其中，上式$({\mathbf{y}}^{(t)}{)}^{T}1={\sum }_{i=1}^l{y}_i^{(t)}=1$，$1^{T}d{e}^{{\mathbf{o}}^{(t)}}=1^T{e}^{{\mathbf{o}}^{(t)}}\odot d{\mathbf{o}}^{(t)}={\left(1\odot e^{{\mathbf{o}}^{(t)}}\right)}^{T}d{\mathbf{o}}^{(t)}={\left(e^{{\mathbf{o}}^{(t)}}\right)}^{T}d{\mathbf{o}}^{(t)}$。
  结论和如下一致：

  接下来求解$\mathbf{W},\mathbf{U},\mathbf{b}$的梯度需要先计算${\mathbf{\delta }}^{(t)}=\frac{\partial L}{\partial {\mathbf{h}}^{(t)}}$。
$$\begin{array}{rl}dL& ={\left(\frac{\partial L^{(t)}}{\partial {\mathbf{o}}^{(t)}}\right)}^{T}d{\mathbf{o}}^{(t)}+{\left(\frac{\partial L}{\partial {\mathbf{h}}^{(t+1)}}\right)}^{T}d{\mathbf{h}}^{(t+1)}\\ & ={\left({\hat{\mathbf{y}}}^{(t)}-{\mathbf{y}}^{(t)}\right)}^{T}d\left(\mathbf{V}{\mathbf{h}}^{(t)}+\mathbf{c}\right)+({\mathbf{\delta }}^{(t+1)}{)}^T{\left(\frac{\partial {\mathbf{h}}^{(t+1)}}{\partial {\mathbf{h}}^{(t)}}\right)}^{T}d{\mathbf{h}}^{(t)}\\ & =tr\left(\left({\left({\hat{\mathbf{y}}}^{(t)}-{\mathbf{y}}^{(t)}\right)}^T\mathbf{V}+({\mathbf{\delta }}^{(t+1)}{)}^T{\left(\frac{\partial {\mathbf{h}}^{(t+1)}}{\partial {\mathbf{h}}^{(t)}}\right)}^T\right)d{\mathbf{h}}^{(t)}\right)\end{array}$$
所以可以得出：
$$\frac{\partial L}{\partial {\mathbf{h}}^{(t)}}={\mathbf{V}}^T\left({\hat{\mathbf{y}}}^{(t)}-{\mathbf{y}}^{(t)}\right)+\left(\frac{\partial {\mathbf{h}}^{(t+1)}}{\partial {\mathbf{h}}^{(t)}}\right){\mathbf{\delta }}^{(t+1)}$$
其中，
$$\begin{array}{rl}d{\mathbf{h}}^{(t+1)}& =dtanh\left(\mathbf{U}{\mathbf{x}}^{(t+1)}+\mathbf{W}{\mathbf{h}}^{(t)}+\mathbf{b}\right)\\ & =\left(1-({\mathbf{h}}^{(t+1)}{)}^2\right)\odot d\mathbf{W}{\mathbf{h}}^{(t)}\\ & =diag\left(1-({\mathbf{h}}^{(t+1)}{)}^2\right)d\mathbf{W}{\mathbf{h}}^{(t)}\\ & =diag\left(1-({\mathbf{h}}^{(t+1)}{)}^2\right)\mathbf{W}d{\mathbf{h}}^{(t)}\end{array}$$
所以得：
$$\frac{\partial {\mathbf{h}}^{(t+1)}}{\partial {\mathbf{h}}^{(t)}}={\mathbf{W}}^{T}diag\left(1-({\mathbf{h}}^{(t+1)}{)}^2\right)$$
综上，${\mathbf{\delta }}^{(t)}=\frac{\partial L}{\partial {\mathbf{h}}^{(t)}}={\mathbf{V}}^T\left({\hat{\mathbf{y}}}^{(t)}-{\mathbf{y}}^{(t)}\right)+{\mathbf{W}}^{T}diag\left(1-({\mathbf{h}}^{(t+1)}{)}^2\right){\mathbf{\delta }}^{(t+1)}$。
$$\begin{array}{rl}dL& =\sum _{t=1}^{\tau }{\left(\frac{\partial L}{\partial {\mathbf{h}}^{(t)}}\right)}^{T}d{\mathbf{h}}^{(t)}\\ & =\sum _{t=1}^{\tau }{\left(\frac{\partial L}{\partial {\mathbf{h}}^{(t)}}\right)}^{T}dtanh\left(\mathbf{U}{\mathbf{x}}^{(t)}+\mathbf{W}{\mathbf{h}}^{(t-1)}+\mathbf{b}\right)\\ & =\sum _{t=1}^{\tau }tr\left({\left(\frac{\partial L}{\partial {\mathbf{h}}^{(t)}}\right)}^T\left(1-({\mathbf{h}}^{(t)}{)}^2\right)\odot d\left(\mathbf{U}{\mathbf{x}}^{(t)}+\mathbf{W}{\mathbf{h}}^{(t-1)}+\mathbf{b}\right)\right)\\ & =\sum _{t=1}^{\tau }tr\left({\left(\frac{\partial L}{\partial {\mathbf{h}}^{(t)}}\odot \left(1-({\mathbf{h}}^{(t)}{)}^2\right)\right)}^T\left(d(\mathbf{U}{\mathbf{x}}^{(t)})+d(\mathbf{W}{\mathbf{h}}^{(t-1)})+d\mathbf{b}\right)\right)\\ & =\sum _{t=1}^{\tau }tr\left({\mathbf{x}}^{(t)}{\left(diag\left(1-({\mathbf{h}}^{(t)}{)}^2\right){\mathbf{\delta }}^{(t)}\right)}^{T}d\mathbf{U}+{\mathbf{h}}^{(t-1)}{\left(diag\left(1-({\mathbf{h}}^{(t)}{)}^2\right){\mathbf{\delta }}^{(t)}\right)}^{T}d\mathbf{W}+{\left(diag\left(1-({\mathbf{h}}^{(t)}{)}^2\right){\mathbf{\delta }}^{(t)}\right)}^{T}d\mathbf{b}\right)\end{array}$$
所以$\mathbf{W},\mathbf{U},\mathbf{b}$梯度表达式如下：
$$\begin{array}{rl}\frac{\partial L}{\partial \mathbf{U}}& =\sum _{t=1}^{\tau }diag\left(1-({\mathbf{h}}^{(t)}{)}^2\right){\mathbf{\delta }}^{(t)}{\left({\mathbf{x}}^{(t)}\right)}^T\\ \frac{\partial L}{\partial \mathbf{W}}& =\sum _{t=1}^{\tau }diag\left(1-({\mathbf{h}}^{(t)}{)}^2\right){\mathbf{\delta }}^{(t)}{\left({\mathbf{h}}^{(t-1)}\right)}^T\\ \frac{\partial L}{\partial \mathbf{b}}& =\sum _{t=1}^{\tau }diag\left(1-({\mathbf{h}}^{(t)}{)}^2\right){\mathbf{\delta }}^{(t)}\end{array}$$