算法工程师修仙之路：吴恩达机器学习（九）

吴恩达机器学习笔记及作业代码实现中文版

第七章 神经网络参数的反向传播算法

---

代价函数

• 假设神经网络的训练样本有$m$个，每个包含一组输入$x$和一组输出信号$y$， $L$表示神经网络层数， $S_I$表示每层的神经元个数($S_l$表示输出层神经元个数)，$S_L$代表最后一层中处理单元的个数。

• 将神经网络的分类定义为两种情况：二类分类和多类分类。

  • 二类分类：$S_L=1$, $y=0or1$表示哪一类；
  • K类分类：$S_L=k$, $y_i=1$表示分到第$i$类； (k>2)

• 逻辑回归问题中我们的代价函数为：

  • $J(\theta )=-\frac{1}{m}{\sum }_{i=1}^m[y^{(i)}log(h_{\theta }(x^{(i)}))+(1-y^{(i)})log(1-h_{\theta }(x^{(i)}))]+\frac{\lambda }{2m}{\sum }_{j=1}^n{\theta }_j^2$
  • 在逻辑回归中，我们只有一个输出变量，又称标量（ scalar），也只有一个因变量$y$。

• 在神经网络中，我们可以有很多输出变量，$h_{\theta }(x)$是一个维度为K的向量，并且我们训练集中的因变量也是同样维度的一个向量，因此我们的代价函数会比逻辑回归更加复杂一些：

  • $J(\Theta )=-\frac{1}{m}[{\sum }_{i=1}^m{\sum }_{k=1}^k[y_k^{(i)}log(h_{\Theta }(x^{(i)}){)}_k+(1-y_k^{(i)})log(1-(h_{\Theta }(x^{(i)}){)}_k)]+\frac{\lambda }{2m}{\sum }_{l=1}^{L-1}{\sum }_{i=1}^{S_l}{\sum }_{j=1}^{S_l+1}({\Theta }_{ji}^{(l)}{)}^2]$。
  • 这个看起来复杂很多的代价函数背后的思想还是一样的，我们希望通过代价函数来观察算法预测的结果与真实情况的误差有多大。
  • 唯一不同的是，对于每一行特征，我们都会给出K个预测，基本上我们可以利用循环，对每一行特征都预测K个不同结果，然后在利用循环在K个预测中选择可能性最高的一个，将其与$y$中的实际数据进行比较。
  • 正则化的那一项只是排除了每一层${\theta }_0$后，每一层的$\theta$矩阵的和。最里层的循环$j$循环所有的行（由$S_l+1$层的激活单元数决定），循环$i$则循环所有的列，由该层（$S_l$层）的激活单元数所决定。即：$h_{\theta }(x)$与真实值之间的距离为每个样本真实值减去每个类输出的加和，对参数进行优化的偏置项处理所有参数的平方和。

反向传播算法

• 为了计算代价函数的偏导数$\frac{\partial J(\Theta )}{\partial {\Theta }_{ij}^{(l)}}$，我们需要采用一种反向传播算法，也就是首先计算最后一层的误差，然后再一层一层反向求出各层的误差，直到倒数第二层。

• 假设我们的训练集只有一个实例($x^{(1)},y^{(1)}$)，我们的神经网络是一个四层的神经网络，其中$K=4，S_L=4，L=4$。

  • 前向传播算法：
    
  • 我们从最后一层的误差开始计算，误差是激活单元的预测（ $a_k^{(4)}$）与实际值（$y^{(k)}$）之间的误差，（ $k=1,2,...,k$）。
  • 我们用$\delta$来表示误差，则：${\delta }^{(4)}=a^{(4)}-y$。
  • 我们利用这个误差值来计算前一层的误差：${\delta }^{(3)}=({\Theta }^{(3)}{)}^T{\delta }^{(4)}\ast g^{\prime }(z^{(3)})$，其中$g^{\prime }(z^{(3)})$是S形函数的导数，$g^{\prime }(z^{(3)})=a^{(3)}(1-a^{(3)})$。而$({\theta }^{(3)}{)}^T{\delta }^{(4)}$则是权重导致的误差的和。
  • 下一步是继续计算第二层的误差：${\delta }^{(2)}=({\Theta }^{(2)}{)}^T{\delta }^{(3)}\ast g^{\prime }(z^{(2)})$。
  • 因为第一层是输入变量，不存在误差。

• 我们有了所有的误差的表达式后，便可以计算代价函数的偏导数了。

  • 假设$\lambda =0$，即我们不做任何正则化处理时有：$\frac{\partial J(\Theta )}{\partial {\Theta }_{ij}^{(l)}}=a_j^{(l)}{\delta }_i^{l+1}$。
  • $l$代表目前所计算的是第几层。
  • $j$代表目前计算层中的激活单元的下标，也将是下一层的第$j$个输入变量的下标。
  • $i$代表下一层中误差单元的下标，是受到权重矩阵中第$i$行影响的下一层中的误差单元的下标。

• 如果我们考虑正则化处理，并且我们的训练集是一个特征矩阵而非向量。在上面的特殊情况中，我们需要计算每一层的误差单元来计算代价函数的偏导数。在更为一般的情况中，我们同样需要计算每一层的误差单元，但是我们需要为整个训练集计算误差单元，此时的误差单元也是一个矩阵，我们用${\Delta }_{ij}^{(l)}$来表示这个误差矩阵。

  • 第$l$层的第$i$个激活单元受到第$j$个参数影响而导致的误差。
  • 首先用正向传播方法计算出每一层的激活单元，利用训练集的结果与神经网络预测的结果求出最后一层的误差，然后利用该误差运用反向传播法计算出直至第二层的所有误差。
  • 在求出了${\Delta }_{ij}^{(l)}$之后，我们便可以计算代价函数的偏导数了，计算方法如下：
    • $D_{ij}^{(l)}=\frac{1}{m}{\Delta }_{ij}^{(l)}+\lambda {\Theta }_{ij}^{(l)}$，$j̸=0$；
    • $D_{ij}^{(l)}=\frac{1}{m}{\Delta }_{ij}^{(l)}$，$j=0$;