机器学习实践入门（一）：神经网络入门

本文参考自深蓝学院课程，所记录笔记，仅供自学记录使用

逻辑回归

二分类问题

对于一个线性可分的数据集： $D=\{({\mathbf{x}}^{(1)},y^{(1)})，\dots \dots ，({\mathbf{x}}^{(N)},y^{(N)})\}$，其中特征向量${\mathbf{x}}^{(i)}\in R^n$,标签$y^{(i)}\in \{0,1\}$

思路一：构建超平面分类

问题就转换为，找到一个超平面${\mathbf{w}}^T\mathbf{x}+b=0$将正负样本分开。
若特征向量是二维的，可以表示成下面

Q：如何将分类平面与估计的（分类值）相对应？
A: 符号函数。
令${\hat{y}}^{(i)}=[sign({\mathbf{w}}^T{\mathbf{x}}^{(i)}+b)+1]/2$即可，这样${\hat{y}}^{(i)}>0时$被分类为正样本，反之为负样本。

Q：当后续优化模型时，根据什么来优化？即代价函数
A: 令$\mathbf{J}={\sum }_{i=1}^N|y^{(i)}-{\hat{y}}^{(i)}|$为(待定)代价函数 .
所谓代价函数不如说是误差函数，误差越大，值应该也越大。

Q:上述代价函数并不好，问题在哪里？
A：绝对值增大了优化难度，要分类讨论，而且维数越多越麻烦。
下一个思路： 让误分类的样本点到超平面的距离之和越小越好。

思路二：估计样本的分布

问题转化为求样本分布概率函数，哪一个可能性大，分到哪一方。

如果还是根据 $z={\mathbf{w}}^T{\mathbf{x}}^{(i)}+b$ 来分类，如果z>0，正样本可能性大，反之，可能性小。但是有概率论知道，可能性应该是概率值，在[0，1]之间， 但是上式是一个线性函数，取值为正无穷到负无穷之间，如何将其变换到[0,1]之间呢？

Q:如何让将 式子映射到[0,1]区间并且不改变单调性？
A:sigmoid函数
$$sigmoid(z)=\frac{1}{1+e^{-z}}=\sigma (z)$$
那么令：$p(y=1|x)=sigmoid({\mathbf{w}}^T{\mathbf{x}}^{(i)}+b)=\sigma (z)$
那么，$p(y=0|x)=1-sigmoid({\mathbf{w}}^T{\mathbf{x}}^{(i)}+b)=1-\sigma (z)$

采取一种更加统一的写法,并将$\sigma (z)$ 简写为 $\sigma$：
$$p(y|x)={\sigma }^y(1-\sigma {)}^{(1-y)}$$
(可以试着带入一下 y=1，y=0 的情况)

Q：这下就可以用这个概率分布来判别了，但是如何优化？（损失函数）
A: 构造损失函数如下:

$$\begin{array}{rl}L(\mathbf{w},b)& =-\log (p(y|x))\\ & =-y\log \sigma -(1-y)\log (1-\sigma )\end{array}$$
当真正标签y=1时，最小化损失函数L，相当属于最大化 $\log \sigma$,也即最大化$\sigma$,也就是最大化$p(y=1|x)$,这也正是我们想优化的方向，反之，亦然。
对于整个数据集D，我们考虑整体的成本函数，即为：
$$J(\mathbf{w},b)=\frac{1}{N}\sum _{i=1}^{N}L(\mathbf{w},b)=-\frac{1}{N}\sum _{i=1}^{N}y\log \sigma +(1-y)\log (1-\sigma )$$

Q:为什么不直接计算平方和作为成本函数？
A：若直接用$J(\mathbf{w},b)=\frac{1}{N}{\sum }_{i=1}^N(y^{(i)}-\sigma {)}^2$作为成本函数，发现他是一个非凸函数，有很多局部最小值。
而用上述log形式的，是一个凸函数

成本函数的优化

梯度下降：通过一阶导数来寻找下降方向, 迭代求解
$$\begin{array}{rl}& \frac{\partial \mathcal{J}(\mathbf{w},b)}{\partial \mathbf{w}}=\frac{1}{N}\sum _{i=1}^N\frac{\partial \mathcal{L}(\mathbf{w},b)}{\partial \mathbf{w}}=\frac{1}{N}\sum _{i=1}^N\left(\sigma -y^{(i)}\right)x^{(i)}（求导）\\ & {\mathbf{w}}^{k+1}={\mathbf{w}}^k-\alpha \frac{\partial \mathcal{J}(\mathbf{w},b)}{\partial \mathbf{w}}（迭代）\\ & \frac{\partial \mathcal{J}(\mathbf{w},b)}{\partial b}=\frac{1}{N}\sum _{i=1}^N\frac{\partial \mathcal{L}(\mathbf{w},b)}{\partial b}=\frac{1}{N}\sum _{i=1}^N\left(\sigma -y^{(i)}\right)（求导）\\ & b^{k+1}=b^k-\alpha \frac{\partial \mathcal{J}(w,b)}{\partial b}（迭代）\end{array}$$
k是迭代次数，α是迭代步长

逻辑回归算法流程

整理一下论及逻辑回归算法的流程步骤：

• for i=1：N

  • 计算 $z^{(i)}={\mathbf{w}}^T{\mathbf{x}}^{(i)}+b$
  • 计算 $\sigma =sigmoid(z^{(i)})$
  • 计算 $d\mathbf{w}$+=$\frac{\partial L}{\partial \mathbf{w}}$,$db$+=$\frac{\partial L}{\partial b}$

• end

• 分别 计算 损失函数 对$\mathbf{w}$,对$b$的偏导$d\mathbf{w}$+=$\frac{1}{N}d\mathbf{w}$,$db=$+=$\frac{1}{N}db$

• $\mathbf{w}$-=$-\sigma d\mathbf{w}$; $b$-=$-\sigma db$ ，至此得到模型参数 $\mathbf{w}$， $b$

• 检验：将待检测数据带入方程$p(y=1|x)=sigmoid({\mathbf{w}}^T{\mathbf{x}}^{(i)}+b)=\sigma (z)$中检验，当大于0.5是正样本，否则为负。

感知机

感知机成本函数

首先，给定一个数据集，和上面二分类数据集差不多，只不过标签值取值为{-1,1} (原来是 0,1).
思路一，寻找决策平面 （同上）
使得误分类样本点到超平面距离只和越小越好
$$\frac{1}{\Vert w\Vert }\left|{\mathbf{w}}^T{\mathbf{x}}^{(i)}+b\right|（回顾高中点到面的距离公式）$$
同样由于绝对值符号，其优化比较困难，
可令，$-y^{(i)}({\mathbf{x}}^{(i)}+b)$作为因子，这样无论是正样本还是负样本，只要是 判错样本 ，其值都大于零
那么成本函数变为：
$$\mathcal{J}(\mathbf{w},b)=-\frac{1}{\Vert \mathbf{w}\Vert }\sum _{{\mathbf{x}}^{(i)}\in M}{y}^{(i)}\left({\mathbf{w}}^T{\mathbf{x}}^{(i)}+b\right)$$

Q:成本函数中忽略 1/||||，对最终的结果是否会有影响呢？
A:没有影响，因为感知机的目标是求一个能够将训练集正样本和负样本完全分开的超平面（第17页），也就是说，最终目标是让所有样本被正确分类，此时总距离为0，而 1/||||为正，其分子为0即可。
$$\mathcal{J}(\mathbf{w},b)=-\sum _{{\mathbf{x}}^{(i)}\in M}{y}^{(i)}\left({\mathbf{w}}^T{\mathbf{x}}^{(i)}+b\right)$$
感知机学习算法是误分类驱动的，采用随机梯度下降算法:
$$\begin{array}{ll}\frac{\partial \mathcal{J}(\mathbf{w},b)}{\partial \mathbf{w}}=-{\sum }_{{\mathbf{x}}^{(i)}\in M}{y}^{(i)}{\mathbf{x}}_i& \mathbf{w}\leftarrow \mathbf{w}+\eta y^{(i)}{\mathbf{x}}^{(i)}\\ \frac{\partial \mathcal{J}(\mathbf{w},b)}{\partial b}=-{\sum }_{{\mathbf{x}}^{(i)}\in M}{y}^{(i)}& b\leftarrow b+\eta y^{(i)}\end{array}$$

感知机算法流程

输入：训练数据集合D ，学习率 η
输出：感知机模型参数, ，以及感知机模型 = sign( + ）

1. 选取, 初值；
2. 在训练集中随机选取数据 ()， () ；
3. 如果()(() + ) ≤ 0，更新参数 ← + ()
   () , ← + ()；
4. 跳转到第2步，继续学习，直到训练集中没有误分类的点。

对于线性不可分的情形，感知机不再适用

神经网络

对于线性不可分的问题，感知机不再适用，即不是一个超平面就能完全分类的问题，也叫非线性问题。
Q:线性分类器一定无法解决非线性问题吗？
A:非也，对于非线性分类问题，可以通过增加特征的方式来完成非线性的表达。
线性分类：$f(\mathbf{x})=g(w_0+w_1{x}_1+w_2{x}_2）$
非线性分类：$f(\mathbf{x})=g(w_0+w_1{x}_1+w_2{x}_2+w_3{x}_1{x}_2+w_4{x}_1^2{x}_2+w_5{x}_1{x}_2^2+\cdots )$
如SVM正是应用了这样的思想

缺点：优化和计算难度极大增加。不知道数据应该是几维时，非常难搞。

为了解决上面非先行问题，采用神经网络的方式

神经元的解释

Q:神经网络是由一层一层神经元构建的，那么每一层究竟在干什么，或者是完成什么事情呢?
A:每层神经元理解： = ( + )，其中是输入向量，是输出向量，是偏移向量，是权重矩阵。
每一层就相当于把输入经过简单的变换得到

$$\begin{array}{c}\mathbf{y}=\left(\begin{array}{l}{y}_1\\ y_2\\ y_3\end{array}\right)\mathbf{x}=\left(\begin{array}{l}{x}_1\\ x_2\\ x_3\\ x_4\end{array}\right)\\ \mathbf{W}=\left(\begin{array}{llll}{w}_{11}& w_{12}& w_{13}& w_{14}\\ w_{21}& w_{22}& w_{23}& w_{24}\\ w_{31}& w_{32}& w_{33}& w_{34}\end{array}\right)\end{array}$$
神经元数学理解：通过如下5种变换，对输入空间（输入向量的集合）进行操作，完成输入空间->输出空间的变换

• 降维/升维 (如非方阵时)
• 放大/缩小（如数乘单位阵）
• 旋转 （如正交阵）
• 平移（偏移b向量）
• 弯曲（激励函数f实现）

多层神经网络

AlexNet 8层
ResNet >1000

Q：到底应该如何设置隐藏层层数？
A：涉及更深问题，可以看网络结构搜索 （NAS），根据不同任务搜索网络结构？

输入层是一个由三个特征组成的特征向量
$$\mathbf{x}=\left(\begin{array}{l}{x}_1\\ x_2\\ x_3\end{array}\right)$$
输出层是一个由两个特征作为输出的特征向量
$$\mathbf{y}=\left(\begin{array}{l}{y}_1\\ y_2\end{array}\right)$$

前向传播

在多层神经元进行运算时，两个重要的算法步骤就是前向传播和误差的反向传播，反向传播后续章节再讲，下面先介绍一下前向传播。

前向传播简单来说和之前的逻辑回归部分类似
即都是 采用 $y=f({\mathbf{w}}^{\mathbf{T}}\mathbf{x}+b)$ 的方式进行运算
不同的是

• 逻辑回归中 $y$是一个数，神经网络中，"$\mathbf{y}$"是向量（只是指代，不知具体变量表示，下同）
• 逻辑回归中 $\mathbf{w}$是一个向量 ，神经网络中，$\mathbf{w}$是矩阵，，
• 逻辑回归中 $b$是一个向量 ，神经网络中，$\mathbf{b}$是矩阵，
• 逻辑回归可以看成是只有一层输入层和一个输出层（且输出层只有一个神经元）的神经网络

定义符号:
$n_l$ 第 $l$ 层的神经元个数，如图 $n_1=3$，$n_2=4$，$n_3=2$\Theta_{i j}^{(l)}$ 从 $l-1$ 层第 $j$ 个到 $l$ 层第 $i$ 个神经元连接的权重
${\mathbf{\Theta }}^{(l)}$ 从 $l-1$ 层到 $l$ 层的权重参数组
$b_i^{(l)}$ 从 $l-1$ 层到 $l$ 层第 $i$ 个神经元连接的偏置
${\mathbf{b}}^{(l)}$ 从 $l-1$ 层到 $l$ 层的偏置参数组
$f(\cdot )$ 神经元的激活函数
$z_i^{(l)}$ 第 $l$ 层的第 $i$ 个神经元的加权和
$a_i^{(l)}$ 第 $l$ 层的第 $i$ 个神经元的输出 (经过激励函数)

下面具体展开了神经网络第二层所有神经元输出的展开计算形式
$$\begin{array}{rl}& z_1^{(2)}={\Theta }_{11}^{(2)}{x}_1+{\Theta }_{12}^{(2)}{x}_2+{\Theta }_{13}^{(2)}{x}_3+b_1^{(2)}\\ & a_1^{(2)}=f\left(z_1^{(2)}\right)=f\left({\Theta }_{11}^{(2)}{x}_1+{\Theta }_{12}^{(2)}{x}_2+{\Theta }_{13}^{(2)}{x}_3+b_1^{(2)}\right)\\ & z_2^{(2)}={\Theta }_{21}^{(2)}{x}_1+{\Theta }_{22}^{(2)}{x}_2+{\Theta }_{23}^{(2)}{x}_3+b_2^{(2)}\\ & a_2^{(2)}=f\left(z_2^{(2)}\right)=f\left({\Theta }_{21}^{(2)}{x}_1+{\Theta }_{22}^{(2)}{x}_2+{\Theta }_{23}^{(2)}{x}_3+b_2^{(2)}\right)\\ & z_3^{(2)}={\Theta }_{31}^{(2)}{x}_1+{\Theta }_{32}^{(2)}{x}_2+{\Theta }_{33}^{(2)}{x}_3+b_3^{(2)}\\ & a_3^{(2)}=f\left(z_3^{(2)}\right)=f\left({\Theta }_{31}^{(2)}{x}_1+{\Theta }_{32}^{(2)}{x}_2+{\Theta }_{33}^{(2)}{x}_3+b_3^{(2)}\right)\\ & z_4^{(2)}={\Theta }_{41}^{(2)}{x}_1+{\Theta }_{42}^{(2)}{x}_2+{\Theta }_{43}^{(2)}{x}_3+b_4^{(2)}\\ & a_4^{(2)}=f\left(z_4^{(2)}\right)=f\left({\Theta }_{41}^{(2)}{x}_1+{\Theta }_{42}^{(2)}{x}_2+{\Theta }_{43}^{(2)}{x}_3+b_4^{(2)}\right)\end{array}$$

神经元前向传播的向量形式

为了方便表达，一般会将上式写为向量形式，
$\begin{array}{llc}{\mathbf{z}}^{(l)}& \text{ 第 }l\text{ 层神经元的加权和 }& {\mathbb{R}}^{n_l}\\ {\mathbf{a}}^{(l)}& \text{ 第 }l\text{ 层神经元输出 (经过激励函数) }& {\mathbb{R}}^{n_l}\\ {\mathbf{\theta }}^{(l)}& \text{ 从 }l-1\text{ 层到 }l\text{ 层的权重参数组 }& {\mathbb{R}}^{n_l\times n_{l-1}}\\ {\mathbf{b}}^{(l)}& \text{ 从 }l-1\text{ 层到 }l\text{ 层的偏置参数组 }& {\mathbb{R}}^{n_l}\end{array}$
总结： 第 $l(2\le l\le L)$ 层神经元的状态及激活值 的向量表示形式为
$$\begin{array}{rl}{\mathbf{z}}^{(l)}& ={\mathbf{\Theta }}^{(l)}{\mathbf{a}}^{(l-1)}+{\mathbf{b}}^{(l)}\\ {\mathbf{a}}^{(l)}& =f({\mathbf{z}}^{(l)})\\ {\mathbf{a}}^{(1)}& =\mathbf{x}\end{array}$$

$$\begin{array}{rl}& z_1^{(2)}={\Theta }_{11}^{(2)}{x}_1+{\Theta }_{12}^{(2)}{x}_2+{\Theta }_{13}^{(2)}{x}_3+b_1^{(2)}\\ & z_2^{(2)}={\Theta }_{21}^{(2)}{x}_1+{\Theta }_{22}^{(2)}{x}_2+{\Theta }_{23}^{(2)}{x}_3+b_2^{(2)}\\ & z_3^{(2)}={\Theta }_{31}^{(2)}{x}_1+{\Theta }_{32}^{(2)}{x}_2+{\Theta }_{33}^{(2)}{x}_3+b_3^{(2)}\\ & z_4^{(2)}={\Theta }_{41}^{(2)}{x}_1+{\Theta }_{42}^{(2)}{x}_2+{\Theta }_{43}^{(2)}{x}_3+b_4^{(2)}\end{array}$$

反向传播

前向传播中，我们是假设各种参数已知，实际情况中，需要根据训练误差调整参数。调整的策略本质上依旧是梯度下降算法。

数据集：
$$\left\{\left({\mathbf{x}}^{(1)},{\mathbf{y}}^{(1)}\right),\left({\mathbf{x}}^{(2)},{\mathbf{y}}^{(2)}\right),\cdots ,\left({\mathbf{x}}^{(i)},{\mathbf{y}}^{(i)}\right),\cdots ,\left({\mathbf{x}}^{(N)},{\mathbf{y}}^{(N)}\right)\right\}$$
第 $i$ 个训练样本的输入: ${\mathbf{x}}^{(i)}={\left(x_1^{(i)},\cdots ,x_{n_1}^{(i)}\right)}^T$ （输入神经元的个数$n_1$）
第 $i$ 个训练样本的输出： ${\mathbf{y}}^{(i)}={\left(y_1^{(i)},\cdots ,y_{n_L}^{(i)}\right)}^T$（输入神经元的个数$n_L$，一般几分类分体其输出神经元个数就是几）

对于第 $i$ 个训练数据来说, 其代价函数为:
$$E=\frac{1}{2}{\Vert \mathbf{y}-{\mathbf{a}}^{(L)}\Vert }^2=\frac{1}{2}\sum _{k=1}^{n_L}{\left(y_k-a_k^{(L)}\right)}^2$$
对于所有训练数据, 其平均代价函数为:
$$E_{\text{total }}=\frac{1}{N}\sum _{i=1}^{N}E$$

梯度下降

权重求导

梯度下降法（又称为“批量梯度下降法”), ${\mathbf{\Theta }}^{(l)}$ 与 ${\mathbf{b}}^{(l)}$ 的参数更新方式为:
$$\begin{array}{rl}{\mathbf{\Theta }}^{(l)}& ={\mathbf{\Theta }}^{(l)}-\mu \frac{\partial E_{\text{total }}}{\partial {\mathbf{\Theta }}^{(l)}}\\ & ={\mathbf{\Theta }}^{(l)}-\frac{\mu }{N}\sum _{i=1}^N\frac{\partial E}{\partial {\mathbf{\Theta }}^{(l)}}\end{array}$$
$$\begin{array}{rl}{\mathbf{b}}^{(l)}& ={\mathbf{b}}^{(l)}-\mu \frac{\partial E_{\text{total }}}{\partial {\mathbf{b}}^{(l)}}\\ & ={\mathbf{b}}^{(l)}-\frac{\mu }{N}\sum _{i=1}^N\frac{\partial E}{\partial {\mathbf{b}}^{(l)}}\end{array}$$
（1） ${\mathbf{\Theta }}^{(l)}$ 有可能是向量，也有可能是矩阵，主要取决于神经网络每层神经元的个数；${\mathbf{b}}^{(l)}$是向量。$E$是常数。
（2） ${\mathbf{\Theta }}^{(l)}$ 与${\mathbf{b}}^{(l)}$的学习率可以不一样

输出层权重求导

任意一个训练样本，将误差表示（代价函数）在输出层展开

对于输出层其他的权重参数, 同样可得:
$$\begin{array}{rl}{\delta }_1^{(3)}& =-\left(y_1-a_1^{(3)}\right)f^{\prime }\left(z_1^{(3)}\right)\\ {\delta }_2^{(3)}& =-\left(y_2-a_2^{(3)}\right)f^{\prime }\left(z_2^{(3)}\right)\\ \frac{\partial E}{\partial {\Theta }_{11}^{(3)}}& ={\delta }_1^{(3)}{a}_1^{(2)}\frac{\partial E}{\partial {\Theta }_{21}^{(3)}}={\delta }_2^{(3)}{a}_1^{(2)}\\ \frac{\partial E}{\partial {\Theta }_{12}^{(3)}}& ={\delta }_1^{(3)}{a}_2^{(2)}\frac{\partial E}{\partial {\Theta }_{22}^{(3)}}={\delta }_2^{(3)}{a}_2^{(2)}\\ \frac{\partial E}{\partial {\Theta }_{13}^{(3)}}& ={\delta }_1^{(3)}{a}_3^{(2)}\frac{\partial E}{\partial {\Theta }_{23}^{(3)}}={\delta }_2^{(3)}{a}_3^{(2)}\\ \frac{\partial E}{\partial {\Theta }_{14}^{(3)}}& ={\delta }_1^{(3)}{a}_4^{(2)}\frac{\partial E}{\partial {\Theta }_{24}^{(3)}}={\delta }_2^{(3)}{a}_4^{(2)}\end{array}$$

Q:为什么引入${\delta }_i^{(l)}$?
A:简化求导的表达式，通过${\delta }_i^{(l+1)}$计算${\delta }_i^{(l)}$（体现了误差的反向传播）

推广：

先考虑最后一层（L）
令
$$\begin{gathered} {\delta }_i^{(L)}=-(y_i-a_i^{(L)})f^{{}^{\prime }}(z_i^{(L)})(1\le i\le n_L) \\ \frac{\partial E}{\partial {\Theta }_{ij}^{(L)}}={\delta }_i^{(L)}{a}_j^{(L-1)} \end{gathered}$$

转化为向量形式：
$$\begin{array}{c}{\mathbf{\delta }}^{(L)}=-\left(\mathbf{y}-{\mathbf{a}}^{(L)}\right)\odot f^{\prime }\left({\mathbf{z}}^{(L)}\right)\\ {\nabla }_{{\Theta }^{(L)}}E={\mathbf{\delta }}^{(L)}{\left({\mathbf{a}}^{(L-1)}\right)}^T\end{array}$$
其中，$\odot$ 为 哈达玛积，表示矩阵或者向量对应元素相乘，最终

中间层权重求导

如下图，中间层的权重对后续层的影响，以及对最终 代价函数的影响。

根据链式法则，
代价函数对中间l层的权重求导得到，
$$\begin{array}{rl}\frac{\partial E}{\partial {\Theta }_{ij}^{(l)}}& =\frac{\partial E}{\partial z_i^{(l)}}\frac{\partial z_i^{(l)}}{\partial {\Theta }_{ij}^{(l)}}\\ & ={\delta }_i^{(l)}\frac{\partial z_i^{(l)}}{\partial {\Theta }_{ij}^{(l)}}\\ & ={\delta }_i^{(l)}{a}_j^{(l-1)}\end{array}$$
其中
$$\begin{array}{rl}{\delta }_i^{(l)}& \equiv \frac{\partial E}{\partial z_i^{(l)}}\\ & =\sum _{j=1}^{n_{l+1}}\frac{\partial E}{\partial z_j^{(l+1)}}\frac{\partial z_j^{(l+1)}}{\partial z_i^{(l)}}\\ & =\sum _{j=1}^{n_{l+1}}{\delta }_j^{(l+1)}\frac{\partial z_j^{(l+1)}}{\partial z_i^{(l)}}\\ & =\sum _{j=1}^{n_{l+1}}{\delta }_j^{(l+1)}\frac{\partial z_j^{(l+1)}}{\partial a_i^{(l)}}\frac{\partial a_i^{(l)}}{\partial z_i^{(l)}}\\ & =\sum _{j=1}^{n_{l+1}}{\delta }_j^{(l+1)}{\Theta }_{ji}^{(l+1)}\frac{\partial a_i^{(l)}}{\partial z_i^{(l)}}\\ & =\left(\sum _{j=1}^{n_{l+1}}{\delta }_j^{(l+1)}{\Theta }_{ji}^{(l+1)}\right)f^{\prime }\left(z_i^{(l)}\right)\end{array}$$

BP 算法核心公式

BP传播算法的核心公式: 利用 $l+1$ 层的 ${\delta }_i^{(l+1)}$ 来 计算 $l$ 层的 ${\delta }_i^{(l)}$
$${\delta }^{(l)}=\left({\left({\mathbf{\theta }}^{(l+1)}\right)}^T{\delta }^{(l+1)}\right)\odot f^{\prime }\left({\mathbf{z}}^{(l)}\right)$$

偏置求导

输出层偏执求导：

$$\begin{gathered} \frac{\partial E}{\partial b_1^{(3)}}=\frac{\partial E}{\partial a_1^{(3)}}\frac{\partial a_1^{(3)}}{\partial z_1^{(3)}}\frac{\partial z_1^{(3)}}{b_1^{(2)}}={\delta }_1^{(3)} \\ （\frac{\partial E}{\partial z_1^{(3)}}=\frac{\partial E}{\partial a_1^{(3)}}\frac{\partial a_1^{(3)}}{\partial z_1^{(3)}}={\delta }_1^{(3)}看之前推导;\frac{\partial z_1^{(3)}}{b_1^{(2)}}=1） \\ \frac{\partial E}{\partial b_2^{(3)}}=\frac{\partial E}{\partial a_2^{(3)}}\frac{\partial a_2^{(3)}}{\partial z_2^{(3)}}\frac{\partial z_2^{(3)}}{b_2^{(2)}}={\delta }_2^{(3)} \end{gathered}$$

对隐藏层偏置求偏导数

以下图为例
$$\begin{gathered} \frac{\partial E}{\partial b_1^{(2)}}=\frac{\partial E}{\partial a_1^{(3)}}\frac{\partial a_1^{(3)}}{\partial z_1^{(3)}}\frac{\partial z_1^{(3)}}{\partial z_1^{(2)}}\frac{z_1^{(2)}}{b_1^{(2)}}={\delta }_1^{(2)} \\ \frac{\partial E}{\partial b_2^{(2)}}=\frac{\partial E}{\partial a_2^{(3)}}\frac{\partial a_2^{(3)}}{\partial z_2^{(3)}}\frac{\partial z_2^{(3)}}{\partial z_2^{(2)}}\frac{z_2^{(2)}}{b_2^{(2)}}={\delta }_2^{(2)} \\ \frac{\partial E}{\partial b_3^{(2)}}=\frac{\partial E}{\partial a_3^{(3)}}\frac{\partial a_3^{(3)}}{\partial z_3^{(3)}}\frac{\partial z_3^{(3)}}{\partial z_3^{(2)}}\frac{z_3^{(2)}}{b_3^{(2)}}={\delta }_3^{(2)} \\ \frac{\partial E}{\partial b_4^{(2)}}=\frac{\partial E}{\partial a_4^{(3)}}\frac{\partial a_4^{(3)}}{\partial z_4^{(3)}}\frac{\partial z_4^{(3)}}{\partial z_4^{(2)}}\frac{z_4^{(2)}}{b_4^{(2)}}={\delta }_4^{(2)} \end{gathered}$$

梯度下降-偏置更新
可见 输出层和隐藏层的偏置都可以统一写为：
$$\begin{array}{rl}\frac{\partial E}{\partial b_i^{(l)}}& =\frac{\partial E}{\partial z_i^{(l)}}\frac{\partial z_i^{(l)}}{b_i^{(l)}}\\ & ={\delta }_i^{(l)}\end{array}$$
向量形式为: ${\nabla }_{b^{(l)}}E={\mathbf{\delta }}^l$

反向传播整理

反向传播算法的核心公式为:
$$\begin{array}{rl}& {\delta }_i^{(L)}=-\left(y_i-a_i^{(L)}\right)f^{\prime }\left(z_i^{(L)}\right)\\ & {\delta }_i^{(l)}=\left(\sum _{j=1}^{n_{l+1}}{\delta }_j^{(l+1)}{\Theta }_{ji}^{(l+1)}\right)f^{\prime }(z_i^{(i)})\\ & \frac{\partial E}{\partial {\Theta }_{ij}^{(l)}}={\delta }_i^{(l)}{a}_j^{(l-1)}\\ & \frac{\partial E}{\partial b_i^{(l)}}={\delta }_i^{(l)}\end{array}$$

向量形式为
$$\begin{array}{rl}& {\mathbf{\delta }}^{(L)}=-\left(\mathbf{y}-{\mathbf{a}}^{(L)}\right)\odot f^{\prime }\left({\mathbf{z}}^{(L)}\right)\\ & {\mathbf{\delta }}^{(l)}=\left({\left({\Theta }^{(l+1)}\right)}^{\top }{\mathbf{\delta }}^{(l+1)}\right)\odot f^{\prime }\left({\mathbf{z}}^{(l)}\right)\\ & {\nabla }_{{\Theta }^{(l)}}E={\mathbf{\delta }}^{(l)}{\left({\mathbf{a}}^{(l-1)}\right)}^{\top }\\ & {\nabla }_{b_{(l)}}E={\delta }^l\end{array}$$

总结BP算法

输入：数据集D；学习率μ
输出：模型权重、偏置

• 随机初始化模型权重、偏置
• 前向传播
  • $$\begin{array}{rl}{\mathbf{z}}^{(l)}& ={\mathbf{\Theta }}^{(l)}{\mathbf{a}}^{(l-1)}+{\mathbf{b}}^{(l)}\\ {\mathbf{a}}^{(l)}& =f({\mathbf{z}}^{(l)})\\ {\mathbf{a}}^{(1)}& =\mathbf{x}\end{array}$$
• 计算每一层误差
  • $$\begin{gathered} {\mathbf{\delta }}^{(L)}=-\left(\mathbf{y}-{\mathbf{a}}^{(L)}\right)\odot f^{\prime }\left({\mathbf{z}}^{(L)}\right) \\ {\mathbf{\delta }}^{(l)}=\left({\left({\Theta }^{(l+1)}\right)}^{\top }{\mathbf{\delta }}^{(l+1)}\right)\odot f^{\prime }\left({\mathbf{z}}^{(l)}\right) \end{gathered}$$
• 求各层权重、偏置的偏导。
  • $$\begin{gathered} {\nabla }_{{\Theta }^{(l)}}E={\mathbf{\delta }}^{(l)}{\left({\mathbf{a}}^{(l-1)}\right)}^T \\ {\nabla }_{b_{(l)}}E={\delta }^l \end{gathered}$$
• 更新参数
  • $$\begin{array}{rl}{\mathbf{\Theta }}^{(l)}& ={\mathbf{\Theta }}^{(l)}-\mu \frac{\partial E_{\text{total }}}{\partial {\mathbf{\Theta }}^{(l)}}\\ & ={\mathbf{\Theta }}^{(l)}-\frac{\mu }{N}\sum _{i=1}^N\frac{\partial E}{\partial {\mathbf{\Theta }}^{(l)}}\\ {\mathbf{b}}^{(l)}& ={\mathbf{b}}^{(l)}-\mu \frac{\partial E_{\text{total }}}{\partial {\mathbf{b}}^{(l)}}\\ & ={\mathbf{b}}^{(l)}-\frac{\mu }{N}\sum _{i=1}^N\frac{\partial E}{\partial {\mathbf{b}}^{(l)}}\end{array}$$

激活函数

的作用：对输入空间进行“弯曲（非线性变换）”，提升神经网络的非线性表达能力
激活函数即为上述神经网络中使用的$f(z)$函数

设计激活函数的原则：
（1）非线性函数，且连续可导；
（2）函数及其导函数易于计算；
（3）导函数的值域以及分布

梯度消失

再误差反向传播的过程中，由于梯度越来越小，越靠近输入，更新量越小，导致参数得不到有效更新，训练效率下降。
这与激活函数的值域有一定关系，见下面式子

• $$\begin{gathered} {\mathbf{\delta }}^{(L)}=-\left(\mathbf{y}-{\mathbf{a}}^{(L)}\right)\odot f^{\prime }\left({\mathbf{z}}^{(L)}\right) \\ {\mathbf{\delta }}^{(l)}=\left({\left({\Theta }^{(l+1)}\right)}^{\top }{\mathbf{\delta }}^{(l+1)}\right)\odot f^{\prime }\left({\mathbf{z}}^{(l)}\right) \end{gathered}$$
  反向传播中，每一层都要乘以导函数$f^{{}^{\prime }}$，如果导函数值域过于小，就导致误差传播越传越小。

Z型更新

以上式更新方程举例：
由于一层的权重参数导数都共用一个δ，所以更新方向要么都增大（如右图，往第一象限去），要么都减小（往第三象限去），实现不了一个增大一个减小的情况。

目前使用最多的激活函数函数ReLU函数及其改进。