机器学习教程之5-神经网络：表述(Neural Networks:Representation)

1.非线性假设

假设我们希望训练一个模型来识别视觉对象（例如识别一张图片上是否是一辆汽车） ，我们怎样才能这么做呢？一种方法是我们利用很多汽车的图片和很多非汽车的图片，然后利
用这些图片上一个个像素的值（饱和度或亮度）来作为特征。显然用线性回归或逻辑回归都是不可取的，因为将一幅图上的所有点作为特征，特征数太多，计算量太大。
无论是线性回归还是逻辑回归都有这样一个缺点，即： 当特征太多时，计算的负荷会非常大。使用非线性的多项式，能够建立更好的分类模型。普通的逻辑回归模型，不能有效地处理很多的特征，这时候就需要神经网络。

2.神经元和大脑

神经网络是一种很古老的算法，它最初产生的目的是制造能模拟大脑的机器。
神经网络模仿大脑，单靠一个模型可以处理声音、图像等信息。
人工智能的梦想就是：有一天能制造出真正的智能机器。

3.模型表示1

神经元：每一个神经元都可以被认为是一个处理单元/神经核（ processing unit/ Nucleus），它含有许多输入/树突（input/Dendrite），并且有一个输出/轴突（output/Axon）。神经元示意图如下。如果神经元想要传递一个消息，它就会就通过它的轴突，发送一段微弱电流给其他神经元，这就是轴突。

神经网络：神经网络模型建立在很多神经元之上，每一个神经元又是一个个学习模型，神经网络是大量神经元相互链接并通过电脉冲来交流的一个网络。

神经网络模型：许多逻辑单元按照不同层级组织起来的网络，每一层的输出变量都是下一层的输入变量。

激活单元(activation unit):神经网络模型建立在很多神经元之上，每一个神经元又是一个个学习模型。

权重(weight):神经网络中的参数

4.模型表示2

用向量化的方法会使得计算更加简便，具体推导过程见教程。
重要结论：
1)不管什么机器学习算法，输出的仍然是假设函数；
2)神经网络的每个节点都是一个逻辑回归函数。
神经网络相对于逻辑回归和线性回归的优势：
我们可以把 a0,a1,a2,a3看成更为高级的特征值，也就是 x0,x1,x2,x3的进化体，并且它们是由 x 与决定的，因为是梯度下降的，所以 a 是变化的，并且变得越来越厉害，所以这些更高级的特征值远比仅仅将 x 次方厉害，也能更好的预测新数据。

5.特征和直观理解1

从本质上讲，神经网络能够通过学习得出其自身的一系列特征。
我们可以认为第二层中的特征是神经网络通过学习后自己得出的一系列用于预测输出变量的新特征。
神经网络中，单层神经元（无中间层）的计算可用来表示逻辑运算，比如逻辑 AND、逻辑或 OR 。

6.样本和直观理解2

我们可以利用神经元来组合成更为复杂的神经网络以实现更复杂的运算。按这种方法我们可以逐渐构造出越来越复杂的函数，也能得到更加厉害的特征值。这就是神经网络的厉害之处。

7.多类分类

输出假设函数的向量中有且只有一个元素为1，其它元素为0。