深度学习-1.2神经网络

“1943年心理学家M和数学家P根据生物神经元结构，提出神经元的数学模型。”
“1975年W博士将多层感知机堆叠成神经网络，并利用反向传播算法训练神经网络自动学习参数。”
“神经网络是一种模仿生物神经网络的结构和功能的数学模型或计算模型。”看到这句话，就觉得这玩意儿像玄学。确实，神经网络缺乏完备的数学证明，虽然神经网络能解决很多问题，但是为啥能解决问题的“可解释性”需要进一步探索。
提取主谓宾，神经网络是一个数学运算模型。
https://playground.tensorflow.org/

一.多层感知机 Multi-Layer Perception MLP

感知机只能处理线性可分的问题。为了解决这一局限性，引入多层感知机，例如我们用三个简单的感知机组成一个两层感知机可以解决”异或门“问题。
感知机处理输入信号的方法就是：

h = sign(wx+ b) ，#sign(x)是一个取符号的函数，x>=0时，函数值为1，反之为-1。

这种函数的名字叫做阶跃函数。

二.神经元

为了提高非线性能力，我们不局限于使用阶跃函数，引入更多方法来处理输出信号。输入不变，还是使用权重和偏执计算输入z=wx+ b，引入函数f(z)代替阶跃函数，称f为激活函数。
将感知机中的阶跃函数扩展为激活函数，感知机就成为了神经元，我们也就进入了神经网络的世界。
也可以理解为感知机是使用阶跃函数为激活函数的神经元。

三.神经网络

单一神经元的功能是有限的，我们要将多个神经元连接在一起传递处理信息，就称为了神经网络，这里只讨论前馈神经网络，之所以叫这个名字是因为这样的一个规定：“神经元按照接受信息的先后分组，每组构成神经网络的一层，下一层的接入只接收来自上一层的输入，信息总是向前传播，没有反向回馈。”
前一层的所有神经元不一定要与后一层的所有神经元相连。如果符合“所有相邻两层之间的神经元全相连”，称这种网络为全连接网络。
神经网络分为输入层，隐藏层，输出层，上图就是最简单的两层神经网络（不计输入层）。
其中隐藏层可以继续扩展为多层，隐藏层足够多的情况加，就称为深度神经网络。

四.反向传播算法

就像机器学习的流程一样，我们选定了网络模型之后，还要确定损失函数，然后通过算法让模型学习到最好的参数。
损失函数有多种选择，和机器学习中的一样，有交叉熵损失函数、均方差损失函数等等。
在机器学习里面常用的梯度下降法，理论上同样也可以使用在深度学习里面，但是真的操作起来，对每一个权重和偏执求偏导计算量太大，这也是神经网络曾经陷入低潮的原因之一。
1970年有博士提出了反向传播算法，1986年有人研究说明反，向传播算法能更快的计算神经网络中各层参数的梯度，能解决参数逐一求导效率底下的问题。