深度学习系列4：深度神经网络(DNN)，夜空中最亮的星

引言

深度学习(DNN) 功能之强、应用之广，可以说是机器学习里最亮的星。

其实深度学习就是深度神经网络(Deep Neural Networks)，也就是层次比较多的神经网络，今天我们一起来会会它。

一、深度神经网络概述

深度神经网络包括输入层、多个隐含层和输出层，每层含有多个节点。

每个节点都是一个算法神经元，从上层接收多个输入，按权重加和再用激活函数生成输出，而这个输出又作为下一层的输入。

层次多了网络就更复杂，也就可以学习到更复杂的函数关系。实验表明，只要有足够数量和维度的样本，深度学习总能学习到比较好的结果。

下面我们详细认识一下。

二、深度神经网络的表示

一般说 N 层神经网络，这里的 N 不包括输入层，仅包含隐含层和输出层。

2.1 深度神经网络的索引符号

在深度神经网络中，因为涉及到第几层第几个节点第几个样本，所以要用不同的索引来区分。拿第 l 层的第 i 个节点举例：
$$\begin{array}{rl}{z}_i^{[l]}& =w^{[l]}{a}^{[l-1]}+b^l\\ a_i^{[l]}& =relu(z_i^{[l]})\end{array}$$

• 上标中括号表示第几层：$a^{[1]}$, $a^{[2]}$
  • $a^{[l]}$ 表示第 l 层的输出，同时也是第 l+1 层的输入
  • 输入层也称为第0层，可以写成 $a^{[0]}$
  • 输出层 $\hat{y}$ : 也就是最后一层的输出，表示为 $a^{[L]}$
• 上标小括号表示第几个样本：$a^{(1)}$, $a^{(2)}$
• 下标表示当前层第几个节点(维度)：$a_1$, $a_2$

2.2 深度神经网络矩阵化

如图所示，不失一般性，我们推导一下如何从 [l-1] 层 到达 [l] 层

• 第 l-1 层有四个节点(维度)
  • $(a_1^{[l-1]},a_2^{[l-1]},a_3^{[l-1]},a_4^{[l-1]})$
• 第 l 层的有两个节点(维度)
  • $(a_1^{[l]},a_2^{[l]}$）

先考虑一个样本的情况

$$z_1^{[l]}=\left[\begin{array}{c}{w}_{11}^{[l]}{w}_{12}^{[l]}{w}_{13}^{[l]}{w}_{14}^{[l]}\end{array}\right]\left[\begin{array}{c}{a}_1^{[l-1]}\\ a_2^{[l-1]}\\ a_3^{[l-1]}\\ a_4^{[l-1]}\end{array}\right]+b_1^{[l]}$$

$$z_2^{[l]}=\left[\begin{array}{c}{w}_{21}^{[l]}{w}_{22}^{[l]}{w}_{23}^{[l]}{w}_{24}^{[l]}\end{array}\right]\left[\begin{array}{c}{a}_1^{[l-1]}\\ a_2^{[l-1]}\\ a_3^{[l-1]}\\ a_4^{[l-1]}\end{array}\right]+b_2^{[l]}$$

将两个公式合为矩阵：
$$\left[\begin{array}{c}{z}_1^{[l]}\\ z_2^{[l]}\end{array}\right]=\left[\begin{array}{c}{w}_{11}^{[l]}{w}_{12}^{[l]}{w}_{13}^{[l]}{w}_{14}^{[l]}\\ w_{21}^{[l]}{w}_{22}^{[l]}{w}_{23}^{[l]}{w}_{24}^{[l]}\end{array}\right]\left[\begin{array}{c}{a}_1^{[l-1]}\\ a_2^{[l-1]}\\ a_3^{[l-1]}\\ a_4^{[l-1]}\end{array}\right]+\left[\begin{array}{c}{b}_1^{[l]}\\ b_2^{[l]}\end{array}\right]$$

再考虑 m 个样本的情况：

$$\left[\begin{array}{c}{z}_{11}^{[l]}\dots z_{1m}^{[l]}\\ z_{21}^{[l]}\dots z_{2m}^{[l]}\end{array}\right]=\left[\begin{array}{c}{w}_{11}^{[l]}{w}_{12}^{[l]}{w}_{13}^{[l]}{w}_{14}^{[l]}\\ w_{21}^{[l]}{w}_{22}^{[l]}{w}_{23}^{[l]}{w}_{24}^{[l]}\end{array}\right]\left[\begin{array}{c}{a}_{11}^{[l-1]}\dots a_{1m}^{[l-1]}\\ a_{21}^{[l-1]}\dots a_{2m}^{[l-1]}\\ a_{31}^{[l-1]}\dots a_{3m}^{[l-1]}\\ a_{41}^{[l-1]}\dots a_{4m}^{[l-1]}\end{array}\right]+\left[\begin{array}{c}{b}_1^{[l]}\\ b_2^{[l]}\end{array}\right]$$

矩阵简化为

$$Z_{2\ast m}^{[l]}=W_{2\ast 4}^{[l]}\ast A_{4\ast m}^{[l-1]}+b_{2\ast 1}^{[l]}$$

最后一般化，把 [l-1] 层的维度由 4 改成 l-1，[l] 层的维度由 2 改成 l, 矩阵为

$$\begin{array}{rl}{Z}_{l\ast m}^{[l]}& =W_{l\ast l-1}^{[l]}\ast A_{l-1\ast m}^{[l-1]}+b_{l\ast 1}^{[l]}\\ A_{l\ast m}^{[l]}& =Z_{l\ast m}^{[l]}\end{array}$$

总结一下：

• 输入矩阵 $A_{l-1\ast m}^{[l-1]}$: l-1 行表示第 [l-1] 层的节点(维度)数，m 列表示样本个数
• 参数矩阵 $W_{l\ast l-1}^{[l]}$: l 行表示第 [l] 层的节点(维度)数，l-1 列表示第 [l-1] 层的节点(维度)数
• 参数向量 $b_{l\ast 1}^{[l]}$: l 行表示第 [l] 层的节点(维度)数，1 列表示列向量，计算时维度自适应
• 输出矩阵 $Z_{l\ast m}^{[l]}$: l 行表示第 [l] 层的节点(维度)数，m 列表示样本个数
• 激活矩阵 $A_{l\ast m}^{[l]}$: 维度与 Z 一致。既是上一层的输出，同时也是下一层的输入

三、求解深度神经网络

神经网络的求解仍然采用梯度下降的方法。

3.1 正向传播

层次：{1, …, l-1, l, …, L}

• 隐含层
  $$\begin{array}{rl}{Z}^{[1]}& =W^{[1]}\ast X+b^{[1]}\\ A^{[1]}& =g^{[1]}(Z^{[1]})\end{array}$$
  。。。
  $$\begin{array}{rl}{Z}^{[l]}& =W^{[l]}\ast A^{[l-1]}+b^{[l]}\\ A^{[l]}& =g^{[l]}(Z^{[l]})\end{array}$$
  。。。
• 输出层
  $$\begin{array}{rl}{Z}^{[L]}& =W^{[L]}\ast A^{[L-1]}+b^{[L]}\\ \hat{Y}& =A^{[L]}=g^{[L]}(Z^{[L]})\end{array}$$
• 损失函数

a. 回归时
$$Loss=\frac{1}{2}(A-Y{)}^2$$
b. 二分类时
$$Loss=-(Y\ln A+(1-Y)\ln (1-A))$$
c. 多分类时
$$Loss=-\sum _j{Y}_j\ln A_j$$

其中 $g^{[l]}$ 表示第 l 层的激活函数，通常隐含层采用relu，输出层采用sigmoid（二分类）或者softmax(多分类)。

3.2 反向传播

反向传播中主要利用链式求导法则，即 $\frac{\partial z}{\partial x}=\frac{\partial z}{\partial y}\frac{\partial y}{\partial x}$

• 输出层
  $$\begin{array}{rl}d{Z}^{[L]}& =A^{[L]}-Y\\ d{W}^{[L]}& =\frac{1}{m}d{Z}^{[L]}{A}^{[L-1]T}\\ d{b}^{[L]}& =\frac{1}{m}sum(d{Z}^{[L]})\end{array}$$

• 隐含层
  $$\begin{array}{rl}d{A}^{[l]}& =W^{[l+1]T}d{Z}^{[l+1]}\\ d{Z}^{[l]}& =d{A}^{[l]}{g}^{{}^{\prime }[l]}(Z^{[l]})\\ d{W}^{[l]}& =\frac{1}{m}d{Z}^{[l]}{A}^{[l-1]T}\\ d{b}^{[l]}& =\frac{1}{m}sum(d{Z}^{[l]})\end{array}$$
  。。。
  $$\begin{array}{rl}d{A}^{[1]}& =W^{[2]T}d{Z}^{[2]}\\ d{Z}^{[1]}& =d{A}^{[1]}{g}^{{}^{\prime }[1]}(Z^{[1]})\\ d{W}^{[1]}& =\frac{1}{m}d{Z}^{[1]}{X}^T\\ d{b}^{[1]}& =\frac{1}{m}sum(d{Z}^{[1]})\end{array}$$

$g^{{}^{\prime }[l]}$ 表示第 l 层激活函数的导数，通常隐含层采用relu，输出层采用sigmoid（二分类）或者softmax(多分类)。

在 dW 和 db 中都有一个 $\frac{1}{m}$, 这是因为正向计算时有 m 个样本，所以这里需要除以 m

3.3 更新参数

$$\begin{array}{rl}{W}^{[1]}:& =W^{[1]}-\alpha d{W}^{[1]}\\ b^{[1]}:& =b^{[1]}-\alpha d{b}^{[1]}\end{array}$$
。。。
$$\begin{array}{rl}{W}^{[l]}:& =W^{[l]}-\alpha d{W}^{[l]}\\ b^{[l]}:& =b^{[l]}-\alpha d{b}^{[l]}\end{array}$$
。。。
$$\begin{array}{rl}{W}^{[L]}:& =W^{[L]}-\alpha d{W}^{[L]}\\ b^{[L]}:& =b^{[L]}-\alpha d{b}^{[L]}\end{array}$$

其中 $\alpha$ 为学习率

经过多轮迭代即可得到最优的(W,b)。

四、输出层 dZ 探究

大家是否注意到，反向传播中
$$d{Z}^{[L]}=A^{[L]}-Y$$
理论上来说输出层的dZ
$$dZ=\frac{\partial Loss}{\partial A}\frac{\partial A}{\partial Z}=\frac{\partial Loss}{\partial A}{g}^{\prime }(Z)$$
也就是当 Loss 或激活函数不同时，dZ 应该不同，这里为啥都是 dZ = A - Y 呢？

下面我们推导一下。

4.1 回归问题: 没有激活函数

回归问题:没有激活函数，即 A = Z。

损失函数 Loss 为样本误差的平方和
$$\begin{array}{rl}Loss& =\frac{1}{2}\sum _{i=1}^m({\hat{y}}_i-y_i{)}^2\\ & =\frac{1}{2}(A-Y{)}^2\end{array}$$
A 的偏导数为
$$\frac{\partial Loss}{\partial A}=A-Y$$

因为 $A=Z$，所以 $dZ=A-Y$

4.2 二分类问题：激活函数为 sigmoid

二分类问题激活函数为 sigmoid，损失函数Loss为交叉熵
$$Loss=-(Y\ln A+(1-Y)\ln (1-A))$$
A 的偏导数为
$$\frac{\partial L}{\partial A}=-\frac{Y}{A}+\frac{1-Y}{1-A}$$
Z 的偏导数为
$$\begin{array}{rl}dZ& =\frac{\partial L}{\partial A}\frac{\partial A}{\partial Z}\\ & =(-\frac{Y}{A}+\frac{1-Y}{1-A})\cdot A(1-A)\\ & =A-Y\end{array}$$

sigmoid 导数 A’(Z) = A(1-A)

4.3 多分类问题：激活函数为 softmax

4.3.1 多分类与 One Hot

在多分类任务中, 比如手势识别中，真实的手势可能是 (0, 1，2，3，4，5), 在输入计算机的时候，Y 需要进行 one hot 编码，比如手势有 6 个类别，需要把 y 编码成长度为6的向量，向量的每个值代表这个类别是否命中，命中为 1，不命中为 0。因为手势只能属于一个类别，所以每个向量中仅有一个 1，其他都为 0，1 的位置好像一个热点，所以称为 “One Hot”。

4.3.2 关于 softmax

$$softmax(Z)=A=\frac{e^{Z_j}}{{\sum }_k{e}^{Z_k}}$$

在多分类任务中，输出层 Z 的节点(维度)数等于分类个数，图中三分类的任务Z = {z1, z2, z3}。而 softmax 的任务是放大各项的比例关系，使最大的占比尽量接近 1，其他的占比尽量接近 0，这样才方便和经过“One Hot” 编码的真实的 Y 去比较。

softmax 分母是为了保证向量各项的和为 1。

4.3.3 多分类 softmax 中 dZ 的求解

多分类任务中使用 softmax 作为激活函数，损失函数Loss为交叉熵。

$$Loss=-Y\ln A=-\sum _j{Y}_j\ln A_j$$

因为 $dZ=\frac{\partial L}{\partial A}\frac{\partial A}{\partial Z}$, 下面我们分布来求解：

1. 求解 $\frac{\partial L}{\partial A}$

$$\frac{\partial L}{\partial A}=-\sum _j\frac{Y_j}{A_j}$$

2. 求解 $\frac{\partial A}{\partial Z}$
   $$\begin{array}{r}\frac{\partial A}{\partial Z}=\frac{\partial \frac{e^{Z_j}}{{\sum }_k{e}^{Z_k}}}{\partial Z_i}\end{array}$$
   下面分别讨论 $i=j$ 和 $i\ne j$ 的情况：

切记 $softmax(Z)=A=\frac{e^{Z_j}}{{\sum }_k{e}^{Z_k}}$

当 $i=j$ 时：
$$\begin{array}{rl}& \frac{\partial \frac{e^{Z_i}}{{\sum }_k{e}^{Z_k}}}{\partial Z_i}\\ & =\frac{{\sum }_k{e}^{Z_k}{e}^{Z_i}-(e^{Z_i}{)}^2}{({\sum }_k{e}^{Z_k}{)}^2}\\ & =(\frac{e^{Z_i}}{{\sum }_k{e}^{Z_k}})(1-\frac{e^{Z_i}}{{\sum }_k{e}^{Z_k}})\\ & =A_i(1-A_i)\end{array}$$
当 $i\ne j$ 时：
$$\begin{array}{rl}& \frac{\partial \frac{e^{Z_j}}{{\sum }_k{e}^{Z_k}}}{\partial Z_i}\\ & =-e^{Z_j}(\frac{1}{{\sum }_k{e}^{Z_k}}{)}^2{e}^{Z_i}\\ & =-(\frac{e^{Z_i}}{{\sum }_k{e}^{Z_k}})(\frac{e^{Z_j}}{{\sum }_k{e}^{Z_k}})\\ & =-A_i{A}_j\end{array}$$

3. 求解 $dZ=\frac{\partial L}{\partial A}\frac{\partial A}{\partial Z}$
   $$\begin{array}{rl}dZ& =\frac{\partial L}{\partial A}\frac{\partial A}{\partial Z}\\ & =\sum _j\frac{\partial L_j}{\partial A_j}\frac{\partial A_j}{\partial Z_i}\\ & =\sum _{i=j}\frac{\partial L_i}{\partial A_i}\frac{\partial A_i}{\partial Z_i}+\sum _{i\ne j}\frac{\partial L_j}{\partial A_j}\frac{\partial A_j}{\partial Z_i}\\ & =(-\frac{Y_i}{A_i})(A_i(1-A_i))+\sum _{i\ne j}(-\frac{Y_j}{A_j})(-A_i{A}_j)\\ & =-Y_i+Y_i{A}_i+\sum _{i\ne j}{Y}_j{A}_i\\ & =A_i\sum _{i\ne j}{Y}_j-Y_i\end{array}$$
   而多分类问题中 Y 向量中只有一个是 1，其他都为0 。

• 当 $Y_i=1$ 时，${\sum }_{i\ne j}{Y}_j=0$ 所以 $dZ=A_i-1$
• 当 $Y_i=0$ 时，${\sum }_{i\ne j}{Y}_j=1$ 所以 $dZ=A_i-0$

以上两种情况统一为：
$$d{Z}_i=Ai-Y_i$$
所以
$$dZ=A-Y$$

4.4 总结

从推导过程可以看出，无论输出层是无激活函数的回归问题，还是 sigmoid 的二分类问题，又或者是 softmax 的多分类问题，dZ 推导出来的形式都一样。
$$dZ=A-Y$$

世界就是这么奇妙。

后记

深度神经网络先聊到这里，下次我们聊聊图片识别领域的神器–卷积神经网络(CNN)。

欢迎关注本人公众号《大数据茶馆》，用大白话畅聊大数据。

来的都是客，欢迎您常来坐坐~