机器学习（吴恩达）-6 神经网络的基础知识

本文是博主最近的机器学习笔记，如果有不正确的地方还请指正，谢谢~

铺垫——需要神经网络的原因

神经网络也是用来解决监督问题的机器学习算法，而目前针对监督问题我们已有线性回归和逻辑回归这两种学习算法了，为何还需要神经网络来处理呢？ 我们来通过一个例子说明：

上图是一个非线性回归的分类问题，对数据点的类别根据$x_1，x_2$两个特征来确定。针对分类问题，我们可以使用已学过的逻辑回归方法来研究，假设函数为以下形式：
$$h_{\theta }(x)=g({\theta }_0+{\theta }_1{x}_1+{\theta }_2{x}_2+{\theta }_3{x}_1{x}_2+{\theta }_4{x}_1^2{x}_2...)$$
当特征只有两个时，假设函数中的$g(z)$内特征项并不多，完全能够计算出来，得出的假设曲线也可以较好的拟合数据的分类。

但是如果某个分类问题中特征项较多，如有100项（$x_1,x_2{x}_3,...x_{100}$），那么需要计算的假设函数中的$g(z)$中就有可能包含有成百上千的特征项了，如此多的特征项一方面带来的计算量会变大大，另一方面也可能会造成过拟合的情况（且针对过拟合使用正则化可能并不是那么有效）。

另外再给一个例子：

计算机视觉也是机器学习的一个应用，计算机视觉主要是通过给计算机一个图片，让它分辨图片中是否有某物体。

拿汽车的图片来说，计算机视觉通过已知的一系列“是汽车”图片和“不是汽车”图片，来分辨出给出的一个图片是否是汽车图片。

具体是如何进行判断？拿上图的汽车图片中的门把手来说，图中门把手部分存储在计算机中就是图中右下角的颜色灰度矩阵，矩阵中是每个像素点的灰度值，而这个灰度值矩阵代表了这是一个门把手。

计算机将灰度值矩阵中的每个灰度值作为一个特征，假如门把手的图片分辨率是50*50，那么图片一共有2500个像素点，特征数n=2500。 通过计算机中已存储的门把手和非门把手，可以得到一个特征数为2500的分类问题。计算机的目的就是通过学习已给出的训练集，来判断下一个图片是否是门把手。

具体简化一下，我们假设对于一个汽车图片，只采取其中的两个像素点$x_1,x_2$来判断这个图片中是否是汽车（当然很不现实，主要举例用）：

图中右下角已给出了四个数据点，横纵坐标分别为这两个像素点的灰度值，坐标中有两个是汽车，两个不是汽车，那么再增加更多的图片：

从上图可以看出这是一个分类问题，理论上来说可以使用逻辑回归来解决。

但是实际上不行，因为首先分辨一个图像中的物体不是可以仅靠两个像素点就能完成的。 在上面的门把手例子中，我们假设了门把手部分的图片大小为50*50，也就是2500个像素点，需要2500个特征数（$x_1,x_2,x_3,...,x_{2500}$），而这些特征在逻辑回归中的假设函数$g(z)$内，会需要多个特征相乘作为一项，从而扩展出更多的特征项，就算不考虑可能的平方项，只考虑两两特征相乘作为一项：
$$h_{\theta }(x)=g({\theta }_{12}{x}_1{x}_2,{\theta }_{13}{x}_1{x}_3,{\theta }_{14}{x}_1{x}_4,......,{\theta }_{23}{x}_2{x}_3,{\theta }_{24}{x}_2{x}_4,......)$$

也会有上百万个参数项，计算量非常的大，在这种情况下，目前的逻辑回归算法只会无力承担如此庞大的计算量。因此在特征数量达到一个较大值时，我们需要一个更加有效的机器学习算法来处理此类问题。

这也是需要神经网络学习算法的原因。神经网络可以在n（特征数）很大时仍有效地解决这些复杂的非线性假设问题。

神经网络模型展示

神经网络顾名思义，模仿的是人大脑中的神经元组成的网络。神经元包括细胞体和突起两部分：细胞体是神经元的本体，用来处理整合接收到的信息；突起包括轴突和树突，用来接收外来信号并传送信号给其他神经元。

根据神经元模仿的神经网络算法中，单个的逻辑单元如下所示：

其中$x_1,x_2,x_3$为表示输入的特征，中间的橘色圆圈表示处理单元，最后输出到$h_{\theta }(x)$中，得到结果。

上图是最简化的逻辑单元，将这个逻辑单元再扩展一下：

中间多了一层，Layer 1（第一层）也称作输入层，Layer 2（第二层）也称作隐藏层，Layer 3（第三层）也称作输出层，有时也不仅仅包括这三个层，但是不管有多少层，输入层和输出层均只有一个，其他的都是中间的隐藏层。

输入层中的$x_1,x_2,x_3$很好理解，就是相当于逻辑回归中的特征项，将每个特征项的值输入以后进行处理。输出层也很好理解，即得到的假设函数的值，也可以认为是通过中间的算法处理后得到的判断结果。

中间的隐藏层含有$a_1^{(2)},a_2^{(2)},a_3^{(2)}$，共有三项，其中的上标“${}^{(2)}$”表示这是第二层的项，即第二层中含有$a_1,a_2,a_3$三项。 $a_i$表示这是一个激活项（激活项的意思是由一个具体神经元计算并输出的值。就像一个函数一样，输入具体的参数值，就可以计算并返回出一个结果值）。

有时为了参数对应的一致，会加上$x_0$，$a_0$，原理与学习逻辑回归算法一样。

隐藏层的激活项和输出层具体内容如下：
$$a_1^{(2)}=g({\theta }_{10}^{(1)}{x}_0+{\theta }_{11}^{(1)}{x}_1+{\theta }_{12}^{(1)}{x}_2+{\theta }_{13}^{(1)}{x}_3)$$
$$a_2^{(2)}=g({\theta }_{20}^{(1)}{x}_0+{\theta }_{21}^{(1)}{x}_1+{\theta }_{22}^{(1)}{x}_2+{\theta }_{23}^{(1)}{x}_3)$$
$$a_3^{(2)}=g({\theta }_{30}^{(1)}{x}_0+{\theta }_{31}^{(1)}{x}_1+{\theta }_{32}^{(1)}{x}_2+{\theta }_{33}^{(1)}{x}_3)$$
$$h_{\theta }(x)=a_1^{(3)}=g({\theta }_{10}^{(2)}{a}_0^{(2)}+{\theta }_{11}^{(2)}{a}_1^{(2)}+{\theta }_{12}^{(2)}{a}_2^{(2)}+{\theta }_{13}^{(2)}{a}_3^{(2)})$$
分析一下激活项$a_1,a_2,a_3$的等式内容，可以发现后面的等式是逻辑回归中假设函数的等式：$h_{\theta }(x)=g(z)$。因此，每个激活项中都是与逻辑回归中相似的计算方法，激活项之间不同的不是公式，而是输入的特征值。

而输出层就是将$a_1^{(2)},a_2^{(2)},a_3^{(2)}$作为输入的特征进行计算并得出结果。其中$a_1^{(3)}$仅表示这是第三层的第一个激活项。

如果将隐藏层的激活项中内容作以下赋值：
$$z_1^{(2)}={\theta }_{10}^{(1)}{x}_0+{\theta }_{11}^{(1)}{x}_1+{\theta }_{12}^{(1)}{x}_2+{\theta }_{13}^{(1)}{x}_3$$
$$z_2^{(2)}={\theta }_{20}^{(1)}{x}_0+{\theta }_{21}^{(1)}{x}_1+{\theta }_{22}^{(1)}{x}_2+{\theta }_{23}^{(1)}{x}_3$$
$$z_3^{(2)}={\theta }_{30}^{(1)}{x}_0+{\theta }_{31}^{(1)}{x}_1+{\theta }_{32}^{(1)}{x}_2+{\theta }_{33}^{(1)}{x}_3$$

那么：
$$z^{(2)}=\left[\begin{array}{c}{z}_1^{(2)}\\ z_2^{(2)}\\ z_3^{(2)}\end{array}\right]$$

设：
$$x=\left[\begin{array}{c}{x}_0\\ x_1\\ x_2\\ x_3\end{array}\right]，{\theta }^{(1)}=\left[\begin{array}{cccc}{\theta }_{10}& {\theta }_{11}& {\theta }_{12}& {\theta }_{13}\\ {\theta }_{20}& {\theta }_{21}& {\theta }_{22}& {\theta }_{23}\\ {\theta }_{30}& {\theta }_{31}& {\theta }_{32}& {\theta }_{33}\\ {\theta }_{40}& {\theta }_{41}& {\theta }_{42}& {\theta }_{43}\end{array}\right]$$

则可得：
$$a^{(2)}=g(z^{(2)})$$

同理可以得到输出层的公式：
$$z^{(3)}={\theta }^{(2)}{a}^{(2)}$$ $$h_{\theta }(x)=a^{(3)}=g(z^{(3)})$$

神经网络的简单应用

通过一个非常简单的例子，我们来了解一下神经网络是如何实际应用的。

现希望通过非线性分类来推测两特征$x_1,x_2$异或的结果，下图给出了许多训练样本，最终目的是希望能够学习一个非线性的判断边界：

在这里为了将问题简化，更好分析，我们可以把$x_1,x_2$简化为二进制，只能取值0或1，只用下面四个训练样本：

$y=x_{1}XOR{x}_2$（y为异或得到的结果），上图中两个圆圈为结果$y=0$，红叉为$y=1$ 。

为了能够解决这个问题，通过以下三个小例子来铺垫：
①有$x_1,x_2\in \{0,1\}$，$y=x_{1}AND{x}_2$，即学习推测两特征与的结果。
我们增加一个特征$x_0$，将$x_0,x_1,x_2$分别赋值为-30,20，20：

得到的假设函数：
$$h_{\theta }(x)=g(-30+20x_1+20x_2)$$

从而通过表格分析做出的假设函数是否符合要求：

通过粉色笔记画出的估算值可以看出这个假设函数是符合题目要求的，计算出的值与$x_1$和$x_2$相与的结果一致。

②通过寻找合适的假设函数，实现其推测结果与$x_{1}OR{x}_2$（或运算）一致：
设$x_0$=-10，$x_1$=20，$x_2$=20，得到$h_{\theta }(x)=g(-10+20x_1+20x_2)$，最终计算结果符合要求。

③寻找合适的假设函数，实现$NOT{x}_1$（非运算）：
设$x_0$=10，$x_1$=-20，得到$h_{\theta }(x)=g(10-20x_1)$，最终计算结果符合要求。

现在回归到最开始的例子中，为了通过假设函数的计算得到近似异或运算的结果，我们需要将上面形式的小例子结合起来：

把"$x_{1}AND{x}_2$“的结果作为中间值（激活项）$a_1^{(2)}$，”$(NOT{x}_1)AND(NOT{x}_2)$"的结果作为中间值（激活项）$a_2^{(2)}$，最后令$a_2^{(2)}$=-10，得到如下的过程：

上图中左下角是最终的神经网络分布形式，右下角便是最终计算得到的结果，其结果与$x_1$异或$x_2$的结果一致，因此是符合题意的。

从以上的例子中可以看到计算过程中使用到的参数很少，并且结果是分层计算出来的，因此可以有效地解决特征量过多的问题。