基于多层感知机的反向传播算法推导

机器学习课的作业，由于latex的公式编辑我很不熟悉，很多公式都没有编辑好，不过先发出来算了。后续我可能还会更新基于卷积神经网络的反向传播算法推导。

1. 前馈神经网络的反向传播推导

定义如下记号描述网络：

$L$：神经网络的层数

$n^l$:表示第$l$层神经元的个数

$f_l()$: 第$l$层神经元激活函数

$W^{\left(l\right)}\in R^{n^l\times n^{l-1}}$:表示第$l-1$层到第$l$层的权重矩阵

$b^{(l)}\in R^{n^l}$:表示第$l-1$层到第$l$层的偏置

$z^{(l)}\in R^{n^l}$:表示第$l$层的神经元状态

$a^{(l)}\in R^{n^l}$:表示第$l$层的神经元活性值

前馈神经网络通过下面公式进行信息传播：

$$z^{\left(l\right)}=W^{\left(l\right)}\bullet a^{\left(l-1\right)}+b^{\left(l\right)}$$

$$a^{\left(l\right)}=f_l\left(z^{\left(l\right)}\right)$$

公式也可以写成：

$$z^{\left(l\right)}=W^{\left(l\right)}\cdot f_l\left(z^{\left(l-1\right)}\right)+b^{\left(l\right)}$$

给定一组样本$(X(i),y(i)),1\le i\le N$，前馈神经网络的输出$f(X|W,b)$目标函数为：
$$\begin{array}{cc}J(W,b)& ={\sum }_{i=1}^{N}L(y^{(i)},f(X^{(i)}|W,b))+\frac{1}{2}\lambda ||W|{|}_F^2\\ & ={\sum }_{i=1}^N(W,b;X(i),y^{\left(i\right)})+\frac{1}{2}\lambda ||W|{|}_F^2\end{array}$$

这里的$W$和$b$包含了每一层的权重矩阵和偏置向量，$||W|{|}_F^2={\sum }_{l=1}^L{\sum }_{j=1}^{n^{l+1}}{\sum }_{i=1}^{n^l}{W}_{\text{ij}}^{\left(l\right)}$

如果使用梯度下降来最小化目标函数，使用如下方法更新参数：

$$\begin{array}{cc}{W}^{(l)}& =W^{(l)}-\alpha \frac{\partial J(W,b)}{\partial W^{(l)}},\\ & =W^{(l)}-\alpha {\sum }_{i=1}^N(\frac{J(W,b;X^{(i)},y^{(i)})}{\partial W^{(l)}})-\lambda W\\ b^{(l)}& =b^{(l)}-\alpha \frac{\partial J(W,b)}{\partial b^{(l)}},\\ & =b^{(l)}-\alpha {\sum }_{i=1}^N(\frac{J(W,b;X^{(i)},y^{(i)})}{\partial b^{(l)}})\end{array}$$

其中$\lambda$是参数更新率。

$$\frac{\partial J\left(W,b;X,y\right)}{\partial W_{\text{ij}}^{\left(l\right)}}=tr((\frac{J\left(W,b;X,y\right)}{\partial z^{\left(l\right)}}{)}^T\frac{\partial z^{\left(l\right)}}{\partial W_{\text{ij}}^{\left(l\right)}})$$

对于第$l$层，定义一个误差项${\delta }^{(l)}=\frac{J(W,b;X,y)}{\partial z^{(l)}}\in R^{n^{(l)}}$是目前目标函数关于第l层的神经元$z^{(l)}$的偏导数。${\delta }^{(l)}$也反映了最终的输出对第l层神经元对最终误差的敏感程度。
$$\begin{array}{cc}\frac{\partial J\left(W,b;X,y\right)}{\partial W^{\left(l\right)}}& ={\delta }_i^{\left(l\right)}(a_j^{\left(l-1\right)}{)}^T\\ \frac{\partial J\left(W,b;X,y\right)}{\partial b^{\left(l\right)}}& ={\delta }_i^{\left(l\right)}\end{array}$$

现在来看第l层的误差项${\delta }^{(l)}$

$$\begin{array}{cc}{\delta }^{(l)}& \triangleq \frac{J(W,b;X,y)}{\partial z^{(l)}}\\ & =\frac{\partial a^{(l)}}{\partial z^{(l)}}\cdot \frac{\partial z^{(l+1)}}{\partial a^{(l)}}\cdot \frac{J(W,b;X,y)}{\partial z^{(l+1)}}\\ & =diag(f_l^{{}^{\prime }}(z^{(l)}))\cdot (W^{(l+1)}{)}^T\cdot {\delta }^{(l+1)}\\ & =f_l^{{}^{\prime }}(z^{(l)})\odot ((W^{(l+1)}{)}^T{\delta }^{(l+1)})\end{array}$$

$\odot$是向量点积运算符，表示每个元素相乘。

因此，前馈神经网络的训练过程可以分为以下步骤：

Forward pass中计算每一层的状态和激活值，直到最后一层，

Backward pass中计算每一层的误差，计算每一层参数的偏导数，并更新参数。

本篇博客绝大部分参考了这个博客，大家可以去他的原博客看，十分感谢这位博主。