多层感知器（MLP）

转自：http://www.voidcn.com/article/p-uwmutaug-bmr.html

一. 简述多层感知器（MLP）

1. 深度前馈网络（deep feedforward network），也叫前馈神经网络(feedforward neuarl network)或者多层感知机(multilayer perceptron,MLP)，是典型的深度学习模型。这种模型被称为前向（feedforward）的，是因为信息流过x的函数，流经用于定义f的中间计算过程，最终到达输出y。在模型的输出和模型本身之间没有反馈（feedback）连接。当前馈神经网络被扩展成包含反馈连接时，它们被称为循环神经网络（recurrent neural network）。

2. 隐含层

隐含层是神经网络的一个重要概念，它是指除输入，输出层外，中间的那些层。输入和输出层是对外可见的，成为可视层，而中间层不直接暴露，是模型的黑箱部分，比较难解释，所以一般也叫隐含层。隐含层认为：f（）函数为激活函数（activation function），一般有Sigmoid函数或者Tanh函数。

3. 神经网络就是将许多哥单一的“神经元”连接，一个“神经元”的输出就是另一个“神经元”的输入。

4. DL常见问题

（1）过拟合（overfit）

过拟合是指模型预测准确率在训练集上提高，但在测试集上反而下降了，这通常意味着泛化性不好，model只记忆了当前数据的特征，不具备推广能力。

（2）Dropout

dropout可以比较有效地减轻过拟合的发生，一定程度上达到了正则化的效果。大致思想是在训练时，将神经网络某一层的输出节点数据随机丢掉一部分。

（3）参数难以调试

参数难于调试是神经网络的另一大痛点。神经网络到处充满着局部最优，需要反复调试，因此像Adagrad,Adam,Adadelta等自适应方法可以减轻调试参数的负担。

（4）梯度弥散

梯度弥散是另一个神经网络的问题。传统的神经网络训练大多用Sigmoid作为激活函数，但神经网络层数较多时，Sigmoid函数在反向传播中梯度逐渐减小，经过多层的传递后会呈现指数级急剧减小，因此梯度值在传递的前几层就变得非常小了。这时反馈（backward）的参数更新基本不起作用。

（5）ReLU函数

ReLU函数可以解决以上问题。