【机器学习】课程笔记08_神经网络的学习(Neural Networks Learning)

代价函数（Cost Function）

• 假设神经网络的训练样本有$m$个

  每个样本包含一组输入$x$和一组输出信号$y$

  $L$表示神经网络层数

  $S_I$表示每层的神经元个数

  $S_L$代表最后一层中处理单元的个数

• 二类分类和K类分类：

  

• 逻辑回归中只有一个输出变量，神经网络中可以有很多输出变量，代价函数更加复杂：
  $$J(\Theta )=\frac{1}{m}[\sum _{i=1}^m\sum _{k=1}^K{y}_k^{(i)}log(h_{\Theta }(x^{(i)}){)}_k+(1-y_k^{(i)})log(1-(h_{\Theta }(x^{(i)}){)}_k)]+\frac{\lambda }{2m}\sum _{l=1}^{L-1}\sum _{i=1}^{s_l}\sum _{j=1}^{s_{l+1}}({\Theta }_{ji}^{(l)}{)}^2$$

  • $\Theta$的大小为$s_{(j+1)}\times (s_j+1)$，由于不包含偏差单位，所以为$s_{(j+1)}\times s_j$，所以下标为$ji$.

反向传播算法（Backpropagation Algorithm）

• 目的： 计算代价函数的偏导数$\frac{\partial }{\partial {\Theta }_{ij}^{(l)}}J(\Theta )$.

• 步骤： 首先计算最后一层的误差，然后再一层一层反向求出各层的误差，直到倒数第二层。

• 例子： 训练集只有一个样本$(x^{(1)},y^{(1)})$，神经网络是一个四层的神经网络，其中$K=4，S_L=4，L=4$：

  • 向前传播算法：

    

  • 向后传播算法：

    • 从最后一层的误差开始计算，误差是激活单元的预测值$a^{(4)}$与实际值$y^k$之间的误差。

    • 用$\delta$来表示误差，则：${\delta }^{(4)}=a^{(4)}-y$

    • 利用这个误差值来计算前一层的误差：${\delta }^{(3)}=({\Theta }^{(3)}{)}^T{\delta }^{(4)}\ast g^{\prime }(z^{(3)})$ 其中$g^{\prime }(z^{(3)})$是 S 形函数的导数，$g^{\prime }(z^{(3)})=a^{(3)}\ast (1-a^{(3)})$，$({\Theta }^{(3)}{)}^T{\delta }^{(4)}$则是权重导致的误差的和。

    • 继续计算第二层的误差： $ \delta^{{(2)}=(\Theta}{(2)})^{T}\delta{(3)}\ast g’(z^{(2)})$ 。因为第一层是输入变量，不存在误差。

    • 有了所有的误差的表达式后，便可以计算代价函数的偏导数了，假设$\lambda =0$，即我们不做任何正则化处理时有： $\frac{\partial }{\partial {\Theta }_{ij}^{(l)}}J(\Theta )=a_j^{(l)}{\delta }_i^{l+1}$.

      $l$ 代表目前所计算的是第几层。

      $j$ 代表目前计算层中的激活单元的下标，也将是下一层的第 $j$ 个输入变量的下标。

      $i$ 代表下一层中误差单元的下标，是受到权重矩阵中第 $i$ 行影响的下一层中的误差单元的下标。

    

• 反向传播算法：

  

  • 首先用正向传播方法计算出每一层的激活单元，利用训练集的结果与神经网络预测的结果求出最后一层的误差，然后利用该误差运用反向传播法计算出直至第二层的所有误差。
  • 在求出了${\Delta }_{ij}^{(l)}$之后，便可以计算代价函数的偏导数$D_{ij}^{(l)}$ 了。

理解反向传播（Backpropagation Intuition）

• “正向传播”求损失，“反向传播”回传误差。同时，神经网络每层的每个神经元都可以根据误差信号修正每层的权重。
• 参考链接：“反向传播算法”过程及公式推导（超直观好懂的Backpropagation）

使用注意：展开参数（Implementation Note: Unrolling Parameters）

• 怎样把你的参数从矩阵展开成向量，以便我们在高级最优化步骤中的使用需要。

梯度检测（Gradient Checking）

• 用途： 通过估计梯度值来检验导数值是否真的是我们要求的。（确保反向传播的正确性）

• 方法： 在代价函数上沿着切线的方向选择离两个非常近的点然后计算两个点的平均值用以估计梯度（拉格朗日中值定理）。即 $\frac{d}{d\theta }J(\theta )\approx \frac{J(\theta +\epsilon )-J(\theta -\epsilon )}{2\epsilon }$.

  

• 注意： 当梯度检测结果与反向传播所求得的偏导一致时，要确保在机器学习之前关闭梯度检测，因为它花费的时间要远远大于反向传播，如果在每次梯度下降得迭代中进行梯度检测，会导致代码运行得很慢。

随机初始化（Random Initialization）

• 对称权重问题： 若初始$\theta$值均为0，则每次更新后，所有隐藏单元的每个参数输入都是相等的，每个输入值的权重也相等，即使梯度下降进行了一次迭代，但所有的隐藏单元依然以相同的函数作为输入来计算。造成高度冗余，最后的逻辑回归单元只能得到一个特征。

• 随机初始化： 解决对称权重问题。

• 方法： 对每个$\theta$值将其初始化为一个范围在$[-\epsilon ,\epsilon ]$之间的随机值。

  Theta1 = rand(10, 11) * (2*eps) – eps  %rand(10,11)表示生成一个10×11的矩阵，每个元素值都在[0,1]之间
  

综合起来（ Putting it Together）

• 选择网络结构： 决定选择多少层以及决定每层分别有多少个单元。
  • 第一层的单元数即我们训练集的特征数量。
  • 最后一层的单元数是我们训练集的结果的类的数量。
  • 如果隐藏层数大于1，确保每个隐藏层的单元个数相同，通常情况下隐藏层单元的个数越多越好。
  • 我们真正要决定的是隐藏层的层数（默认为1）和每个隐藏层的单元数（和输入特征数匹配或是其倍数）。
• 训练神经网络：
  1. 参数的随机初始化
  2. 利用正向传播方法计算所有的$h_{\theta }(x)$
  3. 编写计算代价函数 $J$ 的代码
  4. 利用反向传播方法计算所有偏导数
  5. 利用数值检验方法检验这些偏导数
  6. 使用优化算法来最小化代价函数

无人驾驶（Autonomous Driving Example）