吴恩达机器学习课程-第五周

1.神经网络的学习

1.1 代价函数

假设神经网络的训练样本有$m$个，每个包含一组输入$x$和一组输出信号$y$，$L$表示神经网络的总层数，$s_l$表示在第$l$层的神经元个数(不包括bias unit) ：

在逻辑回归中使用到的代价函数如下，它只有一个输出变量：

​ $J(\theta )=-\frac{1}{m}[{\sum }_{i=1}^m{y}^{(i)}log(h_{\theta }(x^{(i)}))+(1-y^{(i)})log(1-h_{\theta }(x^{(i)}))]+\frac{\lambda }{2m}{\sum }_{j=1}^n{\theta }_j^2$

而在神经网络中可以有多个输出变量，所以预测输出是一个维度为$k$的向量$h_{\theta }(x)$，且$(h_{\theta }(x){)}_i$表示第$i$个输出，$y_i$表示真实值的第$i$个输出，和逻辑回归一样没有被偏置项进行正则化：

​ $J(\Theta )=-\frac{1}{m}\left[{\sum }_{i=1}^m{\sum }_{k=1}^k{y}_k^{(i)}\log {\left(h_{\Theta }\left(x^{(i)}\right)\right)}_k+\left(1-y_k^{(i)}\right)\log \left(1-{\left(h_{\Theta }\left(x^{(i)}\right)\right)}_k\right)\right]+\frac{\lambda }{2m}{\sum }_{l=1}^{L-1}{\sum }_{i=1}^{s_l}{\sum }_{j=1}^{s_l+1}{\left({\Theta }_{ji}^{(l)}\right)}^2$

1.2 反向传播

前面的学习中介绍了神经网络的前向传播，下图是一个训练样本的前向传播过程：

现在为了计算偏导数$\frac{d}{d{\theta }_{ij}^{(l)}}J(\theta )$，需要使用到反向传播。其中${\delta }_j^{(l)}$表示第$l$层中第$j$个神经元的误差值。从最后一层的误差开始计算，并且利用该层的误差继续计算上一层的误差值，依此类推：

​ ${\delta }^{(4)}=a^{(4)}-y$

​ ${\delta }^{(3)}=({\theta }^{(3)}{)}^T{\delta }^{(4)}\cdot g^{{}^{\prime }}(z^{(3)}),g^{{}^{\prime }}(z^{(3)})=a^{(3)}\cdot (1-a^{(3)})$

​ ${\delta }^{(2)}=({\theta }^{(2)}{)}^T{\delta }^{(3)}\cdot g^{{}^{\prime }}(z^{(2)})$

没有输入层的误差是因为输入是训练集，即实际观察到的数值，不需要改变

如果不做正则化处理时，$\frac{d}{d{\theta }_{ij}^{(l)}}J(\theta )=a_j^{(l)}{\delta }_i^{(l+1)}$，其中$l$表示当前计算第几层，$j$表示当前层中激活单元的下标，$i$表示下一层中误差单元的下标

如果考虑正则化，且训练集有多个样本，则输入的是矩阵，误差值也应当是一个矩阵，采用${\Delta }_{ij}^{(l)}$表示，即第$l$层的第$i$个激活单元受到第$j$个参数影响而导致的误差，整体算法流程如下：

求出${\Delta }_{ij}^{(l)}$后，可以计算代价函数的偏导数$\frac{d}{d{\theta }_{ij}^{(l)}}J(\theta )=D_{ij}^{(l)}$，其中$j=0$即为偏执项单元的下标(意味着没有进行正则化)：

​ $D_{ij}^{(l)}:=\frac{1}{m}{\Delta }_{ij}^{(l)}+\lambda {\Theta }_{ij}^{(l)}$ if $j\ne 0$
​ $D_{ij}^{(l)}:=\frac{1}{m}{\Delta }_{ij}^{(l)}$ if $j=0$

1.3 理解反向传播

下图中前向传播计算$z_1^{(3)}={\theta }_{10}^{(2)}\ast 1+{\theta }_{11}^{(2)}\ast a_1^{(2)}+{\theta }_{12}^{(2)}\ast a_2^{(2)}$，直观上的理解就是与$z_1^{(3)}$相连的三个神经元值的加权和：

此时要计算下图中的${\delta }_2^{(2)}$，和前向传播中的权重和理念类似，${\delta }_2^{(2)}={\theta }_{12}^{(2)}{\delta }_1^{(3)}+{\theta }_{22}^{(2)}{\delta }_2^{(3)}$，直观理解就是和${\delta }_2^{(2)}$相连的两个神经元的误差加权和。至于前面计算误差中的$g^{{}^{\prime }}(z)$是什么，可以参考反向传播之我见，其中对具体推导有着更加详细的讲解

综上所述，前向传递输入信号直至输出产生误差，反向传播误差信息更新权重矩阵(摘自反向传播之我见)

1.4 梯度检验

对一个较为复杂的模型使用梯度下降算法时，可能会存在一些不容易察觉的错误，虽然代价看上去在不断减小，但最终的结果可能并不是最优解。为了避免该问题，采取梯度数值检验方法：

• 在$J(\theta )$沿着切线的方向选择离两个非常近的点$J(\theta +t)$和$J(\theta -t)$
• 计算这两个点构成的直线的斜率，即图中红色线的斜率$\frac{J(\theta +t)-J(\theta -t)}{2\xi }$
• 将红色线的斜率和蓝色线的斜率进行比较

当$\theta$为向量时，代价函数中偏导数的检验在针对其中一个参数${\theta }_1$校验时：$\frac{d}{d{\theta }_1}=\frac{J({\theta }_1+\xi ,{\theta }_2,...+{\theta }_n)-J({\theta }_1-\xi ,{\theta }_2,...+{\theta }_n)}{2\xi }$

1.5 随机初始化

假设下图中额神经网络所有参数初始化为相同的值，则计算后：

​ $a_1^{(2)}={\theta }_{10}^{(1)}\ast 1+{\theta }_{11}^{(1)}\ast x_1+{\theta }_{12}^{(1)}\ast x_2$

​ $a_2^{(2)}={\theta }_{20}^{(1)}\ast 1+{\theta }_{21}^{(1)}\ast x_1+{\theta }_{22}^{(1)}\ast x_2$

即$a_1^{(2)}=a_2^{(2)}$，这意味着后续计算梯度的值都是一样的，即使进行了梯度下降更新了权重，更新完的权重还是相同的。当所有神经元的值都一样时可以视为只计算一个特征，这是没有意义的

为了打破这种对称性，需要将权重进行随机初始化，该方式有很多种就不一一列举

1.6 训练神经网络流程

1. 参数的随机初始化

2. 利用正向传播方法计算所有样本的$h_{\theta }(x)$

3. 编写计算代价函数$J(\theta )$的代码

4. 利用反向传播方法计算偏导数

5. 利用数值检验方法检验偏导数

6. 使用优化算法来最小化代价函数

2.参考

https://www.bilibili.com/video/BV164411b7dx?p=50-56

http://www.ai-start.com/ml2014/html/week5.html

https://zhuanlan.zhihu.com/p/28821475