吴恩达机器学习笔记-神经网络学习（六）

神经网络学习

非线性假设

在前面的课程中，我们了解到了使用逻辑回归的方法对数据进行二分类，在特征仅仅存在两个类别的时候，通常是一个不错的选择，但是现实情况下，对于分类的问题大多都是大于2个特征的，此时是否也是可以使用前面所讲的逻辑回归方法呢？
例如：对于不同的房子，我们收集上来可能存在有100个特征，预测这些房子在未来的5年时间里被卖掉的概率
对于上面这样的问题，如果我们使用逻辑回归的方式进行处理，首先将第一个特征和剩下的99个特征进行分类，之后再将第二个特征和剩下的99个特征做分类……，显然这样的方式并不是很好，并且计算量是以指数的形式上升的
另外，如果对于以上所有的数据进行数据处理的时候，很有可能会造成过拟合的情况
例：
在机器学习中，计算机视觉是一个应用分类问题非常广泛的领域，可能在路上，我们一眼就能辨识路上开的车，但在计算机中，仅仅只能够辨识一个图片中间的像素点的内容，这样来看，对于辨识一个对象是否是一辆小轿车，就非常的困难

神经元和大脑

人的大脑能够完成很多不可思议的事情，例如，能够认识不同的图片，学着说不同语言，理解数学等等，是不是在完成不同的事情的时候，需要为其建立一块一块不同的区域呢？其实，大脑在处理这样繁多复杂的工作时候，仅仅只用到了一种方式（假设）
神经网络也即吸收了人的大脑这样的工作方式

模型展示1

如上图，就是人大脑中间的神经，这里需要注意的是，在神经元上面有很多凸起的地方，这个称为树突，可以将其视为输入电线，它们接受来自其他神经元的信息，他们有一个输入通道，称为轴突，这条轴突用来给其他的神经元传输信息或者传送信息
在进行模拟的时候，效果图如下：

在上图中，Layer 1称为输入层，Layer 3称为输出层，中间的Layer 2称为隐藏层；在这个模型中，我们看到的仅仅是一层的隐藏层，但是在实际情况下，可能含有多个隐藏层（实际情况下，任何非输入层和输出层都统称为隐藏层）

在上图中，i表示第几个激活函数，j表示神经网络的第几层


神经网络架构即指神经网络链接方式：

例子与直觉理解1

对于分类的问题，一般情况下如上面右图所示，为了简单来看，我们先看左边的这张图
XOR表示两个值中间恰好一个等于1时，这个式子为真；很显然，在这个情况下，第二种更为合适，只有当x1和x2都为1的时候才为真；而第三个则就是第二的取反

如上就是神经网络在做的事情，在这个情况下，就实现了逻辑与的功能，如果想要实现逻辑或的功能，如下图

可以看到，通过上面的方式，就能够实现逻辑或了

例子与直觉理解2

在上面的例子中，要完成一个逻辑非的要求，只要x1不是1，则结果y不为1，这里我们需要思考的是，如果想要完成这样类似的功能，只需要在x1前面放上一个较大的负数作为权值，这样其影响力就会相应的增大，继而影响最后的结果

下面将逻辑与、逻辑非和逻辑或的神经网络在下面进行展示

对于第一个，只有x1和x2同时为1的时候，结果才为1，其他任意情况下，结果为0
对于第二个，只有x1和x2同时为0的时候，结果才为1，其他任意情况下，结果为0
对于第三个，只要x1或x2任意一个为1，则结果为1
将上面这三个情况进行结合（XNOR）

在上面，能够看到，有一个输入层、一个隐藏层、一个输出层
对于这个神经网络，我们能够进行理解的如下：
1、输入放在输入层
2、中间放隐藏层，用来计算输入层略微复杂的功能
3、最后再增加一层用以计算更复杂的非线性函数
通过这样的逻辑，就知道了神经网络为什么能够计算这种复杂的函数
神经网络就是后面一层的网络在前一层的网络基础上变的更加的复杂

多元分类

要在神经网络中实现多类别分类（比如手写一个数字，计算机识别是0-9的哪一个），采用的方法本质上是一对多法的拓展

在上图中，如果想要判断一个对象是否是人、小轿车、摩托车、火车；首先我们需要建立一个有4个输出单元的神经网络，如上，这个神经网络将是一个含4个数的向量（4维向量）

当结果是一个人的时候，输出的4维向量就是[1,0,0,0]；将结果是一辆小轿车的时候，输出的4维向量就是[0,1,0,0]，以此类推