神经网络与深度学习 （二）—— 全连接神经网络

邱锡鹏《神经网络与深度学习》学习笔记。

1. 前馈神经网络

从机器学习的角度看，神经网络一般可以看做是一个非线性模型，其基本组成单元为具有非线性激活函数的神经元，通过大量神经元之间的连接，使得神经网络成为一种高度非线性的模型。神经元之间的连接权重就是要学习的参数，可以在机器学习框架下通过梯度下降法来进行学习。

1.1 神经元

典型神经元结构如下：

神经元接收D 个输入，用向量$\mathbf{x}=\left[x_1;x_2;\cdots ;x_D\right]$来表示。净输入 $z\in \mathbb{R}$表示神经元所获输入信号的加权和，
$$\begin{array}{rl}z& =\sum _{d=1}^D{w}_d{x}_d+b\\ & ={\mathbf{w}}^{\top }\mathbf{x}+b\end{array}$$
其中$\mathbf{w}=\left[w_1;w_2;\cdots ;w_D\right]\in {\mathbb{R}}^D$是$D$维输入的权重向量，$b\in \mathbb{R}$是偏置。

净输入$z$在经过一个非线性函数$f(\cdot )$后得到神经元的活性值（Activation）$a$,
$$a=f(z)$$
其中$f(\cdot )$称为激活函数（Activation Function）。

激活函数
为增强网络的表示能力和学习能力，激活函数需要具备以下几点性质：

1. 连续且可导（允许少数点不可导）的非线性函数。
2. 激活函数及其导函数尽可能简单，有利于条计算效率。
3. 导函数的阈值要在一个合适的区间内。

几种常用的激活函数：

1.1.1 sigmoid 型函数

一类 S 型曲线函数，为两端饱和函数。常用的 sigmoid 型函数有 Logistic 函数和 Tanh 函数。（对于函数$f(x)$,当$x\to \infty$时 $f^{\prime }(x)\to 0$,则称为饱和函数）
Logistic函数
$$\sigma (x)=\frac{1}{1+\exp (-x)}$$
Tanh函数
$$\tanh (x)=\frac{\exp (x)-\exp (-x)}{\exp (x)+\exp (-x)}=2\sigma (2x)-1$$
Tanh 函数的输出是零中心化的(zero-centered),非零中心化的输出会使其后一层神经元的输入发生偏置偏移(bias shift),并进一步降低梯度下降的收敛速度。

1.1.2 ReLU 函数

ReLU (Rectified Linear Unit,修正线性单元)，也叫 Rectifier 函数。ReLU 实际上是一个斜坡(ramp)函数。是目前深度神经网络中经常用的激活函数。
$$\begin{array}{rl}\mathrm{ReLU}(x)& =\{\begin{array}{ll}x& x\ge 0\\ 0& x<0\end{array}\\ & =\max (0,x)\end{array}$$
ReLU 函数计算高效，具有很好的符合生物学特性的稀疏激活性（在生物神经网络中，同时处于兴奋状态的神经元非常稀疏）。
但输出是非零中心化的。此外还比较容易出现死亡 ReLU 问题(Dying ReLU Problem)，即在训练时，如果参数在一次不恰当的更新后，隐藏层中的某个 ReLU 神经元在所有的训练数据上都不能被激活，那么这个神经元自身参数的梯度永远都会是 0，在以后的训练过程中永远不能被激活。

Leaky ReLU
$$\begin{array}{rl}\text{ LeakyReLU }(x)& =\{\begin{array}{ll}x& \text{ if }x>0\\ \gamma x& \text{ if }x\le 0\end{array}\\ & =\max (0,x)+\gamma \min (0,x)\end{array}$$

在输入$x<0$ 时，保持一个很小的梯度$\gamma$．这样当神经元非激活时也能有一个非零的梯度可以更新参数，以免永远不能被激活。

此外还有 PReLU（参数化 ReLU）、ELU、softplus 等变种。

1.1.3 Swish 函数

一种自门控(self-gated)激活函数.
$$\mathrm{swish}(x)=x\sigma (\beta x)$$
$\beta$是可学习的参数或一个固定的超参数。

1.2 网络结构

通过一定的连接方式或信息传递方式进行协作的神经元可以看作一个网络，就是神经网络。网络结构有以下三种：

1.2.1 前馈网络

各神经元按接收信息的先后分为不同的层，每一层的神经元接收前一层的输出，并输出到下一层神经元。整个网络的信息朝着一个方向传播，没有反向的信息传播。前馈网络包含全连接前馈网络和卷积神经网络等。
前馈网络可以看做一个函数，通过简单非线性函数的多次复合，实现输入空间到输出空间的复杂映射。

1.2.2 记忆网络（反馈网络）

网络中的神经元不但可以接收其他神经元的信息，也可以接收直接的历史信息。记忆网络具有记忆功能，在不同的时刻具有不同的状态。记忆神经网络的信息可以是单向或双向传递。主要包含循环神经网络、Hopfield 网络、玻尔兹曼机、受限玻尔兹曼机等。

为增强记忆网络的记忆容量，可引入外部记忆单元和读写机制用来保持一些网络的中间状态，称为记忆增强神经网络。

1.2.3 图网络

图网络是定义在图结构数据上的神经网络。图中每个节点都由一个或一组神经元构成。每个节点可以接收来自相邻节点或自身的信息。
图网络包含很多实现方式，如图卷积网络(Graph Convolutional Networks,GCN)、图注意力网络、消息传递神经网络等。

1.3 前馈神经网络

1.3.1 全连接神经网络

前馈神经网络相邻的两层神经元之间为全连接关系，也称为全连接神经网络(Full connected Neural Network,FCNN)或多层感知机。

记号	含义
$L$	神经网络的层数
$M_l$	第$l$层神经元的个数
$f_l(\cdot )$	第$l$层神经元的激活函数
${\mathbf{W}}^{(l)}\in {\mathbb{R}}^{M_l\times M_{l-1}}$	第$l-1$层到第$l$层的权重矩阵
${\mathbf{b}}^{(l)}\in {\mathbb{R}}^{M_l}$	第$l-1$层到第$l$层的偏置
${\mathbf{z}}^{(l)}\in {\mathbb{R}}^{M_l}$	第$l$层神经元的净输入（净活性值）
${\mathbf{a}}^{(l)}\in {\mathbb{R}}^{M_l}$	第$l$层神经元的输出（活性值）

令${\mathbf{a}}^{(0)}=\mathbf{x}$,前馈神经网络通过不断迭代下列公式逐层进行信息传播：$$\begin{array}{rl}{\mathbf{z}}^{(l)}& ={\mathbf{W}}^{(l)}{\mathbf{a}}^{(l-1)}+{\mathbf{b}}^{(l)}\\ {\mathbf{a}}^{(l)}& =f_l\left({\mathbf{z}}^{(l)}\right)\end{array}$$
首先根据第$l-1$层神经元的活性值(Activation ) ${\mathbf{a}}^{(l-1)}$计算出第$l$层神经元的净活性值(Net Activation )${\mathbf{z}}^{(l)}$,然后经过一个激活函数得到第$l$层神经元的活性值。因此我们可以把每个神经元看做一个仿射变换和一个非线性变换。

上述两式也可以合写为：
$${\mathbf{a}}^{(l)}=f_l\left({\mathbf{W}}^{(l)}{\mathbf{a}}^{(l-1)}+{\mathbf{b}}^{(l)}\right)$$
整个网络可以看做是一个复合函数
$$\varphi (\mathbf{x};\mathbf{W},\mathbf{b})$$
其中$\mathbf{W}$和$,\mathbf{b}$表示网络中所有层的连接权重和偏置。

前馈神经网络具有很强的拟合能力，其非线性拟合能力可以由通用近似定理来保证．常见的连续非线性函数都可以用前馈神经网络来近似。

1.3.2 参数学习

如果采用交叉熵损失函数，对于样本$(\mathbf{x},y)$,其损失函数为：
$$\mathcal{L}(\mathbf{y},\hat{\mathbf{y}})=-{\mathbf{y}}^{\top }\log \hat{\mathbf{y}}$$
其中，$\mathbf{y}\in \{0,1{\}}^c$为标签$y$对应的 one-hot 向量表示。

给定训练集为$\mathcal{D}={\left\{\left({\mathbf{x}}^{(n)},y^{(n)}\right)\right\}}_{n=1}^N$，将每个样本${\mathbf{x}}^{(n)}$输入给前馈神经网络，得到网络输出为${\hat{\mathbf{y}}}^{(n)}$,其在数据集$\mathcal{D}$上的结构化风险函数为
$$\mathcal{R}(\mathbf{W},\mathbf{b})=\frac{1}{N}\sum _{n=1}^N\mathcal{L}\left({\mathbf{y}}^{(n)},{\hat{\mathbf{y}}}^{(n)}\right)+\frac{1}{2}\lambda \Vert \mathbf{W}{\Vert }_F^2$$
其中$\mathbf{W}$和$\mathbf{b}$分别表示网络中所有的权重矩阵和偏置向量；$\mathbf{W}{\Vert }_F^2$是正则化项，用来防止过拟合；$\lambda >0$为长参数，$\lambda >0$越大$\mathbf{W}$越接近于 0。这里的$\mathbf{W}{\Vert }_F^2$一般使用 Frobenius 范数：
$$\Vert W{\Vert }_F^2=\sum _{l=1}^L\sum _{i=1}^{M_l}\sum _{j=1}^{M_{l-1}}{\left(w_{ij}^{(l)}\right)}^2$$
有了学习准则和训练样本，网络参数可以通过梯度下降来进行学习，在梯度下降方法的每次迭代中，第$l$层参数${\mathbf{W}}^{(l)}$和${\mathbf{b}}^{(l)}$的更新方式为：
$$\begin{array}{rl}{\mathbf{W}}^{(l)}& \leftarrow {\mathbf{W}}^{(l)}-\alpha \frac{\partial \mathcal{R}(\mathbf{W},\mathbf{b})}{\partial {\mathbf{W}}^{(l)}}\\ & ={\mathbf{W}}^{(l)}-\alpha \left(\frac{1}{N}\sum _{n=1}^N\left(\frac{\partial \mathcal{L}\left({\mathbf{y}}^{(n)},{\hat{\mathbf{y}}}^{(n)}\right)}{\partial {\mathbf{W}}^{(l)}}\right)+\lambda {\mathbf{W}}^{(l)}\right)\\ {\mathbf{b}}^{(l)}& \leftarrow {\mathbf{b}}^{(l)}-\alpha \frac{\partial \mathcal{R}(\mathbf{W},\mathbf{b})}{\partial {\mathbf{b}}^{(l)}}\\ & ={\mathbf{b}}^{(l)}-\alpha \left(\frac{1}{N}\sum _{n=1}^N\frac{\partial \mathcal{L}\left({\mathbf{y}}^{(n)},{\hat{\mathbf{y}}}^{(n)}\right)}{\partial {\mathbf{b}}^{(l)}}\right)\end{array}$$
其中，$\alpha$为学习率。

梯度下降法需要计算损失函数对参数的偏导数，如果通过链式法则逐一对每个参数求偏导比较低效，在神经网络的训练中经常使用反向传播算法来高效的计算梯度。

1.4 反向传播算法

假设采用随机梯度下降进行网络参数学习，给定一个样本$(\mathbf{x},\mathbf{y})$将其输入到神经网络模型中，得到网络输出为$\hat{\mathbf{y}}$，假设损失函数为$\mathcal{L}(\mathbf{y},\hat{\mathbf{y}})$，要进行参数学习就需要计算损失函数关于美国参数的导数。

不失一般性，对第$l$层中的参数${\mathbf{W}}^{(l)}$和${\mathbf{b}}^{(l)}$计算偏导数，因为$\frac{\partial \mathcal{L}(\mathbf{y},\hat{\mathbf{y}})}{\partial {\mathbf{W}}^{(l)}}$的计算量涉及向量对矩阵的微分，因此我们先计算$\mathcal{L}(\mathbf{y},\hat{\mathbf{y}})$关于参数矩阵中每个元素的偏导数，根据链式法则：

$$\begin{array}{rl}\frac{\partial \mathcal{L}(\mathbf{y},\hat{\mathbf{y}})}{\partial w_{ij}^{(l)}}& =\frac{\partial {\mathbf{z}}^{(l)}}{\partial w_{ij}^{(l)}}\frac{\partial \mathcal{L}(\mathbf{y},\hat{\mathbf{y}})}{\partial {\mathbf{z}}^{(l)}}\\ \frac{\partial \mathcal{L}(\mathbf{y},\hat{\mathbf{y}})}{\partial {\mathbf{b}}^{(l)}}& =\frac{\partial {\mathbf{z}}^{(l)}}{\partial {\mathbf{b}}^{(l)}}\frac{\partial \mathcal{L}(\mathbf{y},\hat{\mathbf{y}})}{\partial {\mathbf{z}}^{(l)}}\end{array}$$
上述两式中的第二项都是目标函数关于第$l$层的神经元${\mathbf{z}}^{(l)}$的偏导数，称为误差项，可以一次计算得到，这样我们只需计算三个偏导数，分别为$\frac{\partial {\mathbf{z}}^{(l)}}{\partial w_{ij}^{(l)}},\frac{\partial {\mathbf{z}}^{(l)}}{\partial {\mathbf{b}}^{(l)}}$和 $\frac{\partial \mathcal{L}(\mathbf{y},\hat{\mathbf{y}})}{\partial {\mathbf{z}}^{(l)}}$。

下面分别来计算这三个偏导数。

1.计算偏导数$\frac{\partial {\mathbf{z}}^{(l)}}{\partial w_{ij}^{(l)}}$。因${\mathbf{z}}^{(l)}={\mathbf{W}}^{(l)}{\mathbf{a}}^{(l-1)}+{\mathbf{b}}^{(l)}$，偏导数

其中${\mathbf{W}}_i^{(l)}$为权重矩阵${\mathbf{W}}^{(l)}$的第$i$行，${\mathbb{I}}_i\left(a_j^{(l-1)}\right)$表示第$i$个元素为$a_j^{(l-1)}$,其余为 0 的行向量。

2.计算偏导数$\frac{\partial {\mathbf{z}}^{(l)}}{\partial {\mathbf{b}}^{(l)}}$，因为${\mathbf{z}}^{(l)}$和${\mathbf{b}}^{(l)}$的函数关系为${\mathbf{z}}^{(l)}={\mathbf{W}}^{(l)}{\mathbf{a}}^{(l-1)}+{\mathbf{b}}^{(l)}$，因此偏导数
$$\frac{\partial {\mathbf{z}}^{(l)}}{\partial {\mathbf{b}}^{(l)}}={\mathbf{I}}_{M_l}\in {\mathbb{R}}^{M_l\times M_l}$$为$M_l\times M_l$的单位矩阵。

3.计算偏导数$\frac{\partial \mathcal{L}(\mathbf{y},\hat{\mathbf{y}})}{\partial {\mathbf{z}}^{(l)}}$，该偏导数表示第$l$层神经元对最终损失的影响、也反映了最终损失对第$l$层神经元的敏感程度，因此一般称为第$l$层神经元的误差项，用${\delta }^{(l)}$表示。
$${\delta }^{(l)}\triangleq \frac{\partial \mathcal{L}(\mathbf{y},\hat{\mathbf{y}})}{\partial {\mathbf{z}}^{(l)}}\in {\mathbb{R}}^{M_l}$$

${\delta }^{(l)}$也间接反映了不同神经元对网络能力的贡献程度，从而比较好的解决了贡献度分配问题。

回顾正向传播的过程，${\mathbf{z}}^{(l)}$被施加激活函数$f(\cdot )$得到${\mathbf{a}}^{(l)}$，${\mathbf{a}}^{(l)}$乘上第 $l+1$ 层神经元的权重${\mathbf{W}}^{(l+1)}$ 再加上偏置${\mathbf{b}}^{(l+1)}$得到第 $l+1$ 层神经元的激活水平${\mathbf{z}}^{(l+1)}$，${\mathbf{z}}^{(l+1)}$再经过后面的网络得到网络输出，最终计算出$\mathcal{L}(\mathbf{y},\hat{\mathbf{y}})$。根据链式法则，有：
$$\frac{\partial \mathcal{L}(\mathbf{y},\hat{\mathbf{y}})}{\partial {\mathbf{z}}^{(l)}}=\frac{\partial {\mathbf{a}}^{(l)}}{\partial {\mathbf{z}}^{(l)}}\cdot \frac{\partial {\mathbf{z}}^{(l+1)}}{\partial {\mathbf{a}}^{(l)}}\cdot \frac{\partial \mathcal{L}(\mathbf{y},\hat{\mathbf{y}})}{\partial {\mathbf{z}}^{(l+1)}}$$

根据 ${\mathbf{z}}^{(l+1)}={\mathbf{W}}^{(l+1)}{\mathbf{a}}^{(l)}+{\mathbf{b}}^{(l+1)}$ 有:
$$\frac{\partial {\mathbf{z}}^{(l+1)}}{\partial {\mathbf{a}}^{(l)}}={\left({\mathbf{W}}^{(l+1)}\right)}^{\top }\in {\mathbb{R}}^{M_l\times M_{l+1}}$$
根据${\mathbf{a}}^{(l)}=f_l\left({\mathbf{z}}^{(l)}\right)$，其中$f_l(\cdot )$为按位计算的函数，因此有：
$$\begin{array}{rl}\frac{\partial {\mathbf{a}}^{(l)}}{\partial {\mathbf{z}}^{(l)}}& =\frac{\partial f_l\left({\mathbf{z}}^{(l)}\right)}{\partial {\mathbf{z}}^{(l)}}\\ & =\mathrm{diag}\left(f_l^{\prime }\left({\mathbf{z}}^{(l)}\right)\right)\in {\mathbb{R}}^{M_l\times M_l}\end{array}$$

因此，根据链式法则，第$l$层的误差项为(式4.63)：

其中 ⊙ 是向量的点积运算符，表示每个元素相乘。

从上式可以看出，第 $l$层的误差项可以通过第$l+1$层的误差项计算得到，这就是误差的反向传播(BackPropagation,BP)。反向传播的含义是第 $l$ 层的一个神经元的误差项（或敏感性）是所有与该神经元相连的第 $l+1$ 层的神经元的误差项的权重和，然后，再乘上该神经元激活函数的梯度。

计算出上面的三个偏导数后，可以得到：

$$\begin{array}{rl}\frac{\partial \mathcal{L}(\mathbf{y},\hat{\mathbf{y}})}{\partial w_{ij}^{(l)}}& ={\mathbb{I}}_i\left(a_j^{(l-1)}\right){\delta }^{(l)}\\ & =\left[0,\cdots ,a_j^{(l-1)},\cdots ,0\right]{\left[{\delta }_1^{(l)},\cdots ,{\delta }_i^{(l)},\cdots ,{\delta }_{M_l}^{(l)}\right]}^{\top }\\ & ={\delta }_i^{(l)}{a}_j^{(l-1)}\end{array}$$
其中${\delta }_i^{(l)}{a}_j^{(l-1)}$相当于向量${\delta }^{(l)}$和向量${\mathbf{a}}^{(l-1)}$的外积的第 $i,j$ 个元素。上式可进一步写为：
$${\left[\frac{\partial \mathcal{L}(\mathbf{y},\hat{\mathbf{y}})}{\partial {\mathbf{W}}^{(l)}}\right]}_{ij}={\left[{\delta }^{(l)}{\left({\mathbf{a}}^{(l-1)}\right)}^{\top }\right]}_{ij}$$
因此，$\mathcal{L}(\mathbf{y},\hat{\mathbf{y}})$关于第$l$层权重${\mathbf{W}}^{(l)}$的梯度为
$$\frac{\partial \mathcal{L}(\mathbf{y},\hat{\mathbf{y}})}{\partial {\mathbf{W}}^{(l)}}={\delta }^{(l)}{\left({\mathbf{a}}^{(l-1)}\right)}^{\top }\in {\mathbb{R}}^{M_l\times M_{l-1}}\text{\hspace{1em}(4.68)}$$

同理，$\mathcal{L}(\mathbf{y},\hat{\mathbf{y}})$关于第$l$层偏置${\mathbf{b}}^{(l)}$的梯度为
$$\frac{\partial \mathcal{L}(\mathbf{y},\hat{\mathbf{y}})}{\partial {\mathbf{b}}^{(l)}}={\delta }^{(l)}\in {\mathbb{R}}^{M_l}\text{\hspace{1em}(4.69)}$$

在计算出每一层的误差项之后，我们就可以得到每层参数的梯度。因此使用误差反向传播算法的前馈神经网络训练过程可以分为以下三步：

1. 前馈计算每一层的净输入${\mathbf{z}}^{(l)}$和激活值${\mathbf{a}}^{(l)}$,直到最后一层；
2. 反向传播计算每一层的误差项${\delta }^{(l)}$；
3. 计算每层参数的偏导数，并更新参数。

反向传播算法的随机梯度下降训练过程：

参考链接，一篇详细推导神经网络反向传播算法的文章。

1.5 自动梯度计算

我们可以用链式法则手动推导损失函数对每个参数的梯度公式，然后进行代码实现。但实际上参数的梯度可以让计算机来自动计算。目前主流的深度学习框架都包含了自动梯度计算的功能，即我们可以只考虑网络结构，其梯度可以自动进行计算，无须人工干预。

自动计算梯度的方法有三类：数值微分、符号微分和自动微分。下面仅介绍自动微分方法。

自动微分
automatic Differentiation，AD，是一种可以对一个(程序)函数进行计算导数的方法。
自动微分的基本原理是所有数值计算可以分解为一些基本操作（+，-，x，/）和一些初等函数 exp，log，sin，cos 等，然后利用链式法则来自动计算一个复合函数的梯度。

计算图
在进行自动微分前，首先要把复合函数分解为一系列基本操作，并构成一个计算图（computational graph）。计算图是数学运算的图像化表示，计算图中的每个非叶子节点表示一个基本操作，每个叶子节点为一个输入变量或常量。

下面给出了复合函数
$$f(x;w,b)=\frac{1}{\exp (-(wx+b))+1}$$
当输入标量$x=1$,权重和偏置参数$w=0,b=0$时的计算图。其中连边上的红色数字表示前向计算时，复合函数中每个变量的实际取值。

从图中可以看出，复合函数由 6 个基本函数组成。每个基本函数函数的导数都十分简单，可以通过规则实现。

按照计算导数的顺序，自动微分可以分为前向模式和反向模式。

前向模式按照计算图中的计算方向来递归的计算梯度。

反向模式是按计算图中计算方向相反的方向来递归的计算梯度。以$\frac{\partial f(x;w,b)}{\partial h_6}$为例，当$x=1$，$w=0,b=0$ 时，反向模式的累积计算顺序如下：
$$\begin{array}{l}\frac{\partial f(x;w,b)}{\partial h_6}=1\\ \frac{\partial f(x;w,b)}{\partial h_5}=\frac{\partial f(x;w,b)}{\partial h_6}\frac{\partial h_6}{\partial h_5}=1\times -0.25\\ \frac{\partial f(x;w,b)}{\partial h_4}=\frac{\partial f(x;w,b)}{\partial h_5}\frac{\partial h_5}{\partial h_4}=-0.25\times 1=-0.25\\ ⋮\\ \frac{\partial f(x;w,b)}{\partial w}=\frac{\partial f(x;w,b)}{\partial h_1}\frac{\partial h_1}{\partial w}=0.25\times 1=0.25\end{array}$$

反向模式和反向传播的计算梯度的方式相同。而且反向模式相比正向模式更高效。

静态计算图和动态计算图
静态计算图是在编译时构建计算图，计算图构建好之后在程序运行时不能变更。动态计算图是在程序运行时动态构建。
静态计算图在构建时可以进行优化，并行能力强，但灵活性较差。动态计算图不容易优化，当不同输入的网络结构不一致时难以并行计算，但灵活性较高。
目前的深度学习框架里，Tensorflow和Theano采用的静态计算图，PyTorch，DyNet 、Chainer 是动态计算图。TensorFlow2.0 也支持了动态计算图。

1.6 优化问题

1.6.1 非凸优化

神经网络的优化问题是一个非凸优化问题。

1.6.2 梯度消失问题

误差反向传播的迭代公式为：
$${\delta }^{(l)}=f_l^{\prime }\left(z^{(l)}\right)\odot {\left(W^{(l+1)}\right)}^{\top }{\delta }^{(l+1)}$$
误差从输出层反向传播时，每层都要乘以该层的激活函数的导数，当我们使用 Sigmoid型函数（Logistic、Tanh）时，其导数的值域都小于或等于 1。这样误差经过每层的传递都会不断衰减，甚至消失，使得网络难以训练。这就是梯度消失问题（Vanishing Gradient Problem）。