神经网络-误差反向传播算法 BP算法

BP算法学习笔记

1 学习基础–神经网络的基本原理和前向过程

​ 如下图所示，这时一个简单的神经网络模型，通过这样一个模型我们就可以完成一些工作。例如我们输入三个数据，a1表示一个公司的银行存款，a2表示所拥有的固定资产估值，a3表示这个人最近一个月的利润，out1表示这是状态良好，out2表示它状态不好。现在我们要通过这个网络来判断，我们是否给这个公司发放贷款。

​ 现在我们先明确一下图中参数的意义：w表示权重，b表示偏置,下面是基本计算步骤。
$$\begin{gathered} z_1^1=a_1\ast w_{1,1}^1+a_2\ast w_{2,1}^1+a3\ast w_{3,1}^1+b_1^1 \\ {z}_2^1=a_1\ast w_{1,2}^1+a_2\ast w_{2,2}^1+a3\ast w_{3,2}^1+b_2^1 \\ {h}_1^1=g(z_1^1) \\ {h}_2^1=g(z_2^1) \\ {z}_1^2=h_1^1\ast w_{1,1}^2+h_2^1\ast w_{1,2}^2+b_1^2 \\ {z}_2^2=h_1^1\ast w_{2,1}^2+h_2^1\ast w_{2,2}^2+b_2^2 \\ ou{t}_1=g(z_1^2) \\ ou{t}_1=g(z_2^2) \end{gathered}$$
​ 其中 $g(x)$ 是激活函数，激活函数有多种可以选择，其数学意义是使我们的网络从线性网络到非线性网络，因为多数问题都是非线性的，至于详细原因分析见：未完成，在MINST数据集判断在我们使用ReLU函数作为激活函数。
$$f(x)=\{\begin{array}{llc}x& if& x>0\\ 0& if& x⩽0\end{array}$$
​ 现在通过这个网络设置一组合理的偏置和权重就能使用这个网络帮我们做出决定。最长用到的比如我们有一组手写数组的照片，我们可以设定一组合适的值来判断这个数字是多少。这个就是新手入门必学的MINST手写数据集判断了。在下一篇中会用Python和这个数据集来实现。

​ 那我们的问题就是找到这样一组合适的数据。这个方法就是BP算法了（Error Back Propagation 误差反向传播算法）

2反向传播的基本原理

​ 反向传播中主要用到两个原理，链式求导法则和偏导数。

2.1概述

​ 反向传播算法的全称是误差反向传播算法，其本质通过总的误差函数对每一个权重和偏置求偏导数，再通过偏导数更新权值和偏置，多次重复此步骤以找到最佳的偏置和权重值。（其原理是偏导数反应了某个函数值对整体的影响程度，同时两个偏导数刚好构成我们误差函数的梯度，而沿梯度方向函数最容易找到最小值，误差函数的最小值可不就是误差最小了吗，误差最小不就是我们找到最佳的一组权值和偏置了吗）

2.2误差函数

​ 误差函数也是有多种可以选择的，至于详细分析见：未完成 。在MINST数据集判断在我们使用均方误差函数作为误差函数。其形式如下：
$$L=\frac{1}{2}\sum _i(ou{t}_i-targe{t}_i{)}^2$$
​ target 表示已知的真确结果。

2.3偏导数和梯度

​ 现在我们再看误差函数 L ,此时我们将此函数的w（权值）和 b （偏置）作为变量（其他值都是系数）。则我们有构成函数：
$$L=f(W,B)$$
​ 依照上图给出的示例，此时有一个由10个权值和4个偏置作为变量构成的函数。现在来明确一下梯度的概念：对于二位函数 $f(x,y)$ 他的梯度表示为 $\nabla =(\frac{\partial f}{\partial x},\frac{\partial f}{\partial y})$ ,而我们都知道，沿着梯度方向函数值下降速度最快。关于导数，偏导数，梯度的具体分析见未完成。那么对于误差函数，我们自然是希望它的函数值为0最好了，所以我们就要求误差函数的梯度，然后沿着梯度方向更新变量取值（即选择权值和偏置的值）。则误差函数的梯度为：
$$\nabla =(\frac{\partial L}{\partial w_{1,1}^1},\frac{\partial L}{\partial w_{2,1}^1},\frac{\partial L}{\partial w_{3,1}^1},\frac{\partial L}{\partial w_{1,2}^1},\frac{\partial L}{\partial w_{2,2}^1},\frac{\partial L}{\partial w_{3,2}^1},\frac{\partial L}{\partial w_{1,1}^2},\frac{\partial L}{\partial w_{2,1}^2},\frac{\partial L}{\partial w_{1,2}^2},\frac{\partial L}{\partial w_{2,2}^2},\frac{\partial L}{\partial b_1^1},\frac{\partial L}{\partial b_2^1},\frac{\partial L}{\partial b_1^2},\frac{\partial L}{\partial b_2^2})$$

2.4 BP算法

​ 现在我们学习BP算法的前置知识都具备了，我们开始推到整个过程。

2.4.1 输出层推导

​ 输出层需要计算的偏导 $\frac{\partial L}{\partial w_{1,1}^2},\frac{\partial L}{\partial w_{2,1}^2},\frac{\partial L}{\partial w_{1,2}^2},\frac{\partial L}{\partial w_{2,2}^2},\frac{\partial L}{\partial b_1^2},\frac{\partial L}{\partial b_2^2}$ ,我们依次计算这些值。
$$\begin{gathered} \frac{\partial L}{\partial w_{1,1}^2}=\frac{\partial L}{\partial ou{t}_1}\times \frac{\partial ou{t}_1}{\partial z_1^2}\times \frac{\partial z_1^2}{\partial w_{1,1}^2} \\ \frac{\partial L}{\partial w_{1,2}^2}=\frac{\partial L}{\partial ou{t}_2}\times \frac{\partial ou{t}_2}{\partial z_2^2}\times \frac{\partial z_2^2}{\partial w_{1,2}^2} \\ \frac{\partial L}{\partial w_{2,1}^2}=\frac{\partial L}{\partial ou{t}_1}\times \frac{\partial ou{t}_1}{\partial z_1^2}\times \frac{\partial z_1^2}{\partial w_{2,1}^2} \\ \frac{\partial L}{\partial w_{2,2}^2}=\frac{\partial L}{\partial ou{t}_2}\times \frac{\partial ou{t}_2}{\partial z_2^2}\times \frac{\partial z_2^2}{\partial w_{2,2}^2} \\ \frac{\partial L}{\partial b_1^2}=\frac{\partial L}{\partial ou{t}_2}\times \frac{\partial ou{t}_2}{\partial z_1^2}\times \frac{\partial z_1^2}{\partial b_1^2} \\ \frac{\partial L}{\partial b_2^2}=\frac{\partial L}{\partial ou{t}_2}\times \frac{\partial ou{t}_2}{\partial z_2^2}\times \frac{\partial z_2^2}{\partial b_2^2} \end{gathered}$$
​ 将这些公式总结到一起表示如下
$$\begin{gathered} \frac{\partial L}{\partial w_{m,n}^L}=\frac{\partial L}{\partial ou{t}_n}\times \frac{\partial ou{t}_n}{\partial z_n^L}\times \frac{\partial z_n^L}{\partial w_{m,n}^L}=\frac{\partial L}{\partial ou{t}_n}\times \frac{\partial ou{t}_n}{\partial z_n^L}\times h_m^L \\ \frac{\partial L}{\partial b_n^L}=\frac{\partial L}{\partial ou{t}_n}\times \frac{\partial ou{t}_n}{\partial z_n^L}\times \frac{\partial z_n^L}{\partial b_n^L}=\frac{\partial L}{\partial ou{t}_n}\times \frac{\partial ou{t}_n}{\partial z_n^L} \end{gathered}$$
​ 令 ${\delta }_n^L=\frac{\partial L}{\partial ou{t}_n}\times \frac{\partial ou{t}_n}{\partial z_n^L}$ 则上式化简为：
$$\frac{\partial L}{\partial w_{m,n}^L}={\delta }_n^L\times h_m^L\text{\hspace{1em}(式1-1)}$$

$$\frac{\partial L}{\partial b_n^L}={\delta }_n^L\text{\hspace{1em}(式1-2)}$$

2.4.2 隐藏层推导

​ 隐藏层需要计算 $\frac{\partial L}{\partial w_{1,1}^1},\frac{\partial L}{\partial w_{2,1}^1},\frac{\partial L}{\partial w_{3,1}^1},\frac{\partial L}{\partial w_{1,2}^1},\frac{\partial L}{\partial w_{2,2}^1},\frac{\partial L}{\partial w_{3,2}^1},\frac{\partial L}{\partial b_1^1},\frac{\partial L}{\partial b_2^1}$ ,依次计算如下：
$$\begin{gathered} \frac{\partial L}{\partial w_{1,1}^1}=\frac{\partial L}{\partial ou{t}_1}\times \frac{\partial ou{t}_1}{\partial z_1^2}\times \frac{\partial z_1^2}{\partial h_1^1}\times \frac{\partial h_1^1}{\partial z_1^1}\times \frac{\partial z_1^1}{\partial w_{1,1}^1}+\frac{\partial L}{\partial ou{t}_2}\times \frac{\partial ou{t}_2}{\partial z_2^2}\times \frac{\partial z_2^2}{\partial h_1^1}\times \frac{\partial h_1^1}{\partial z_1^1}\times \frac{\partial z_1^1}{\partial w_{1,1}^1} \\ \frac{\partial L}{\partial w_{2,1}^1}=\frac{\partial L}{\partial ou{t}_1}\times \frac{\partial ou{t}_1}{\partial z_1^2}\times \frac{\partial z_1^2}{\partial h_1^1}\times \frac{\partial h_1^1}{\partial z_1^1}\times \frac{\partial z_1^1}{\partial w_{2,1}^1}+\frac{\partial L}{\partial ou{t}_2}\times \frac{\partial ou{t}_2}{\partial z_2^2}\times \frac{\partial z_2^2}{\partial h_1^1}\times \frac{\partial h_1^1}{\partial z_1^1}\times \frac{\partial z_1^1}{\partial w_{2,1}^1} \\ \frac{\partial L}{\partial w_{3,1}^1}=\frac{\partial L}{\partial ou{t}_1}\times \frac{\partial ou{t}_1}{\partial z_1^2}\times \frac{\partial z_1^2}{\partial h_1^1}\times \frac{\partial h_1^1}{\partial z_1^1}\times \frac{\partial z_1^1}{\partial w_{3,1}^1}+\frac{\partial L}{\partial ou{t}_2}\times \frac{\partial ou{t}_2}{\partial z_2^2}\times \frac{\partial z_2^2}{\partial h_1^1}\times \frac{\partial h_1^1}{\partial z_1^1}\times \frac{\partial z_1^1}{\partial w_{3,1}^1} \\ \frac{\partial L}{\partial w_{1,2}^1}=\frac{\partial L}{\partial ou{t}_1}\times \frac{\partial ou{t}_1}{\partial z_1^2}\times \frac{\partial z_1^2}{\partial h_2^1}\times \frac{\partial h_2^1}{\partial z_2^1}\times \frac{\partial z_2^1}{\partial w_{1,2}^1}+\frac{\partial L}{\partial ou{t}_2}\times \frac{\partial ou{t}_2}{\partial z_2^2}\times \frac{\partial z_2^2}{\partial h_2^1}\times \frac{\partial h_2^1}{\partial z_2^1}\times \frac{\partial z_2^1}{\partial w_{1,2}^1} \\ \frac{\partial L}{\partial w_{2,2}^1}=\frac{\partial L}{\partial ou{t}_1}\times \frac{\partial ou{t}_1}{\partial z_1^2}\times \frac{\partial z_1^2}{\partial h_2^1}\times \frac{\partial h_2^1}{\partial z_2^1}\times \frac{\partial z_2^1}{\partial w_{2,2}^1}+\frac{\partial L}{\partial ou{t}_2}\times \frac{\partial ou{t}_2}{\partial z_2^2}\times \frac{\partial z_2^2}{\partial h_2^1}\times \frac{\partial h_2^1}{\partial z_2^1}\times \frac{\partial z_2^1}{\partial w_{2,2}^1} \\ \frac{\partial L}{\partial w_{3,2}^1}=\frac{\partial L}{\partial ou{t}_1}\times \frac{\partial ou{t}_1}{\partial z_1^2}\times \frac{\partial z_1^2}{\partial h_2^1}\times \frac{\partial h_2^1}{\partial z_2^1}\times \frac{\partial z_2^1}{\partial w_{3,2}^1}+\frac{\partial L}{\partial ou{t}_2}\times \frac{\partial ou{t}_2}{\partial z_2^2}\times \frac{\partial z_2^2}{\partial h_2^1}\times \frac{\partial h_2^1}{\partial z_2^1}\times \frac{\partial z_2^1}{\partial w_{3,2}^1} \\ \frac{\partial L}{\partial b_1^1}=\frac{\partial L}{\partial ou{t}_1}\times \frac{\partial ou{t}_1}{\partial z_1^2}\times \frac{\partial z_1^2}{\partial h_1^1}\times \frac{\partial h_1^1}{\partial z_1^1}\times \frac{\partial z_1^1}{\partial b_1^1}+\frac{\partial L}{\partial ou{t}_2}\times \frac{\partial ou{t}_2}{\partial z_2^2}\times \frac{\partial z_2^2}{\partial h_1^1}\times \frac{\partial h_1^1}{\partial z_1^1}\times \frac{\partial z_1^1}{\partial b_1^1} \\ \frac{\partial L}{\partial b_2^1}=\frac{\partial L}{\partial ou{t}_1}\times \frac{\partial ou{t}_1}{\partial z_1^2}\times \frac{\partial z_1^2}{\partial h_2^1}\times \frac{\partial h_2^1}{\partial z_2^1}\times \frac{\partial z_2^1}{\partial b_2^1}+\frac{\partial L}{\partial ou{t}_2}\times \frac{\partial ou{t}_2}{\partial z_2^2}\times \frac{\partial z_2^2}{\partial h_2^1}\times \frac{\partial h_2^1}{\partial z_2^1}\times \frac{\partial z_2^1}{\partial b_2^1} \end{gathered}$$
​ 整理化简这些式子(以 $w_{1,1}^1$ 为例)
$$\frac{\partial L}{\partial w_{1,1}^1}=\sum _{i=1,2}\frac{\partial L}{\partial ou{t}_i}\times \frac{\partial ou{t}_i}{\partial z_i^L}\times \frac{\partial z_i^L}{\partial h_1^1}\times \frac{\partial h_1^1}{\partial z_1^1}\times \frac{\partial z_1^1}{\partial w_{1,1}^1}$$

$$\begin{gathered} \frac{\partial L}{\partial w_{m,n}^l}=\sum _{i=1,2}\frac{\partial L}{\partial ou{t}_i}\times \frac{\partial ou{t}_i}{\partial z_i^{l+1}}\times \frac{\partial z_i^{l+1}}{\partial h_n^l}\times \frac{\partial h_n^l}{\partial z_n^l}\times \frac{\partial z_n^l}{\partial w_{m,n}^l} \\ =\sum _{i=1,2}{\delta }_i^{l+1}\times \frac{\partial z_i^{l+1}}{\partial h_n^l}\times \frac{\partial h_n^l}{\partial z_n^l}\times \frac{\partial z_n^l}{\partial w_{m,n}^l} \\ =\sum _{i=1,2}{\delta }_i^{l+1}\times w_{n,i}^{l+1}\times \frac{\partial h_n^l}{\partial z_n^l}\times \frac{\partial z_n^l}{\partial w_{m,n}^l} \\ ={\sum }_{i=1,2}{\delta }_i^{l+1}\times w_{n,i}^{l+1}\times {\delta }^{\prime }(z_n^l)\times a_m \end{gathered}$$

​ 注：${\delta }^{\prime }(z_n^l)=\frac{\partial h_n^l}{\partial z_n^l}$

​ 同理可以求得：
$$\frac{\partial L}{\partial w_n^l}={\sum }_{i=1,2}{\delta }_i^L\times w_{n,i}^{l+1}\times {\delta }^{\prime }(z_n^l)$$

​ 令 ${\delta }_n^l={\sum }_{i=1,2}{\delta }_i^L\times w_{n,i}^{l+1}\times {\delta }^{\prime }(z_n^l)$ 则得到
$$\frac{\partial l}{\partial w_{m,n}^l}={\delta }_n^l\times a_m\text{\hspace{1em}(式2-1)}$$

$$\frac{\partial L}{\partial b_n^l}={\delta }_n^l\text{\hspace{1em}(式2-2)}$$

​ 将所有公式总结如下：
$$\frac{\partial L}{\partial w_{m,n}^L}={\delta }_n^L\times h_m^{L-1}\text{\hspace{1em}(式1-1)}$$

$$\frac{\partial L}{\partial b_n^L}={\delta }_n^L\text{\hspace{1em}(式1-2)}$$

$${\delta }_n^L=\frac{\partial L}{\partial ou{t}_n}\times \frac{\partial ou{t}_n}{\partial z_n^L}$$

$$\frac{\partial l}{\partial w_{m,n}^l}={\delta }_n^l\times a_m\text{\hspace{1em}(式2-1)}$$

$$\frac{\partial L}{\partial b_n^l}={\delta }_n^l\text{\hspace{1em}(式2-2)}$$

$${\delta }_n^l=\sum _{i=1,2}{\delta }_i^{l+1}\times w_{n,i}^{l+1}\times {\delta }^{\prime }(z_n^l)$$

​ 从中可以看出，我们要求误差函数的梯度，只需求出 ${\delta }_n^L$ 和 ${\delta }_n^l$ 就可以了。所以我们用的公式就是这两个了
$${\delta }_n^L=\frac{\partial L}{\partial ou{t}_n}\times \frac{\partial ou{t}_n}{\partial z_n^L}\text{\hspace{1em}(输出层误差公式)}$$

$${\delta }_n^l=\sum _{i=1,2}{\delta }_i^{l+1}\times w_{n,i}^{l+1}\times {\delta }^{\prime }(z_n^l)\text{\hspace{1em}(隐藏层误差公式)}$$

​ 现在我们可以看明白为什么叫反向传播了，输出层的 ${\delta }^L$ 在输出隐藏层误差计算时需要使用，所以整个过程只能从后往前传播。

2.4.3 权值和偏置更新

​ 依据公式计算出误差之后就是更新权值和偏置了。

​ 权值更新：
$$w_{m,n}^l=w_{m,n}^l-{\delta }_n^l\times a_m\times \eta \text{\hspace{1em}(隐藏层权值更新)}$$

$$w_{m,n}^L=w_{m,n}^L-{\delta }_n^L\times h_m^{L-1}\times \eta \text{\hspace{1em}(输出层权值更新)}$$

$$b_n^l=b_n^l-{\delta }_n^l\times \eta \text{\hspace{1em}(隐藏层权值更新)}$$

$$b_n^L=b_n^L-{\delta }_n^L\times \eta \text{\hspace{1em}(输出层权值更新)}$$

注：$\eta$ 表示学习效率，学习效率大运算结果容易反复横跳，太小就会导致学下效率低下。具体学习效率分析见未完成

​ 至此一个完整的BP算法过程已经完成。

2.5 矩阵表示BP算法

​ 隐藏层权值矩阵
$$w_1=\left[\begin{array}{cc}{w}_{1,1}^1& w_{1,2}^1\\ w_{2,1}^1& w_{2,2}^1\\ w_{3,1}^1& w_{3,2}^1\end{array}\right]$$
​ 输出层权值矩阵
$$w_2=\left[\begin{array}{cc}{w}_{1,1}^2& w_{1,2}^2\\ w_{2,1}^2& w_{2,2}^2\end{array}\right]$$
​ 输入矩阵
$$a=\left[\begin{array}{c}{a}_1\\ a_2\\ a_3\end{array}\right]$$
​ 隐藏层矩阵
$$h=\left[\begin{array}{c}{h}_1^1\\ h_2^1\end{array}\right]z^1=\left[\begin{array}{c}{z}_1^1\\ z_2^1\end{array}\right]$$
​ 输出层矩阵
$$out=\left[\begin{array}{c}ou{t}_1\\ ou{t}_2\end{array}\right]z^2=\left[\begin{array}{c}{z}_1^2\\ z_2^2\end{array}\right]$$
​ 输出层误差
$${\delta }^L=\frac{\partial L}{\partial out}\times \frac{\partial out}{\partial z^L}\text{\hspace{1em}(输出层误差矩阵表示)}$$
​ 所以隐藏层误差表示为
$${\delta }^l=w_{l+1}\times {\delta }^{l+1}\times {\delta }^{\prime }(z^l)\text{\hspace{1em}(隐藏层误差矩阵表示)}$$
​ 注：有些案例写道 $ {w_{l+1}}^T$ 这是因为在定义下标时表示的方式不同引起的。我的下标规则是下标第一个值表示它的上一个目标在一列中所处的位置，下标第二个值表示它的下一个目标在该列中的位置。例如 $w_{3,1}^1$ 表示它是第1层的权值（上标），它从第一列的第3个元素（下标第一个值）指向第二列的第1个元素（下标第二个值）

​ 权值更新如下：
$$w^L=w^L-{\delta }^L\times h^{L-1}\times \eta \text{\hspace{1em}(输出层权值更新)}$$

$$b^L=b^L-{\delta }^L\times \eta \text{\hspace{1em}(输出层偏置更新)}$$

$$w^l=w^l-{\delta }^l\times a^l\times \eta \text{\hspace{1em}(隐藏层权值更新)}$$

$$b^l=b^l-{\delta }^l\times \eta \text{\hspace{1em}(隐藏层偏置更新)}$$

​ 现在所有理论知识已经完成，但是还有两个缺点：

• ​ 最终的出的公式将输入层和隐藏层分开了写，这样在编程的时候并不方便

• ​ 现在的情况是基于只有一个隐藏层的网络进行的，在面对多层网络的时候还需再多考虑一点。

  针对这样的情况我重新定义我们的表示方法，如下图示：

​ 此时则有
$${\delta }^l=\{\begin{array}{ll}\frac{\partial l}{\partial a^l}\times \frac{\partial a^l}{\partial z^l}& ifl=L\\ w_{l+1}\times {\delta }^{l+1}\times {\delta }^{\prime }(z^l)& others\end{array}\text{\hspace{1em}(误差矩阵表示)}$$
​ 权值和偏置更新则有更新则有
$$w^l=w^l-{\delta }^l\times a^l\times \eta \text{\hspace{1em}(权值更新)}$$

$$b^l=b^l-{\delta }^l\times \eta \text{\hspace{1em}(偏置更新)}$$

各位大哥最近下载资源没有C币了，如果对你有帮助求赏一个C币