神经网络：多层感知器-MLP

处理复杂的多输入、多输出非线性系统，神经网络要解决的基本问题是分类问题。

1.神经网络的种类：

• 误差反向传播（Back Propagation，BP）神经网络
• 概率神经网络
• 卷积神经网络（Convolutional Neural Network ，CNN－适用于图像识别）
• 时间递归神经网络（Long short－term Memory Network ，LSTM－适用于语音识别）

最简单且原汁原味的神经网络则是多层感知器（Muti－Layer Perception ，MLP）

2.MLP神经网络的结构和原理

神经网络主要包括两大内容:

• 神经网络的结构
• 神经网络的训练和学习

MLP网络包括三层：

• 输入层
• 隐藏层
• 输出层

MLP神经网络不同层之间是全连接（fc）的（全连接的意思就是：上一层的任何一个神经元与下一层的所有神经元都有连接）。

由此可知，神经网络主要有三个基本要素：权重、偏置和激活函数

• 权重：神经元之间的连接强度由权重表示，权重的大小表示可能性的大小

• 偏置：偏置的设置是为了正确分类样本，是模型中一个重要的参数，即保证通过输入算出的输出值不能随便激活。

• 激活函数：起非线性映射的作用，其可将神经元的输出幅度限制在一定范围内，一般限制在（－1～1）或（0～1）之间。最常用的激活函数是Sigmoid函数，其可将（－∞，＋∞）的数映射到（0～1）的范围内。
  激活函数还有tanh和ReLU等很多函数

MLP的最经典例子就是mnist数字识别

我们随便给出一张上面写有数字的图片并作为输入，由它最终给出图片上的数字到底是几。

对于一张写有数字的图片，我们可将其分解为由28＊28＝784个像素点构成，每个像素点的值在（0～1）之间，其表示灰度值，值越大该像素点则越亮，越低则越暗，以此表达图片上的数字并将这786个像素点作为神经网络的输入。

而输出则由十个神经元构成，分别表示（0～9）这十个数字，这十个神经元的值也是在（0～1）之间，也表示灰度值，但神经元值越大表示从输入经判断后是该数字的可能性越大。