多层感知机

应用场景

多层感知机（multilayer perceptron，MLP）是多层神经网络。

模型

每一层相当于一个softmax回归，所以对于多样本，Hidden层和Output层的表达式分别是：
$$\begin{array}{rl}\mathbf{H}& =\mathbf{X}{\mathbf{W}}_h+{\mathbf{b}}_h,\\ \mathbf{O}& =\mathbf{H}{\mathbf{W}}_o+{\mathbf{b}}_o,\end{array}$$

如果直接将两式联立，得到的输出：
$$\mathbf{O}=(\mathbf{X}{\mathbf{W}}_h+{\mathbf{b}}_h){\mathbf{W}}_o+{\mathbf{b}}_o=\mathbf{X}{\mathbf{W}}_h{\mathbf{W}}_o+{\mathbf{b}}_h{\mathbf{W}}_o+{\mathbf{b}}_o.$$

虽然神经网络引入了隐藏层，效果却依然等价于一个单层神经网络。因为一层是仿射变换（affine transformation），多个仿射变换的叠加仍然是一个仿射变换。因此，需要在层与层之间引入非线性函数，这个非线性函数被称为激活函数（activation function）。主要的激活函数包括ReLU、sigmoid、tanh，函数公式、函数曲线、导数公式、导数曲线见：多层感知机.ipynb

在隐藏层加入了激活函数的多层感知机模型：
$$\begin{array}{rl}\mathbf{H}& =\varphi (\mathbf{X}{\mathbf{W}}_h+{\mathbf{b}}_h),\\ \mathbf{O}& =\mathbf{H}{\mathbf{W}}_o+{\mathbf{b}}_o,\end{array}$$

其中$\varphi$表示激活函数。