学习多层感知机MLP的心得

感知器 (perceptron)

神经网络中一种模拟神经元(neuron)的结构，有输入(input)、输出(output)、权重(weight)、前馈运算(feed forward)、激活函数(activation function)等部分。单层感知器能模拟逻辑与、逻辑或、逻辑非和逻辑与非等操作，但不能实现逻辑异或！
激活函数可以表示为:

​

其中 x 作为输入, w 是对应输入 x 的权重向量，b 为偏置，y是预期计算结果；通常把偏置b作为 w 中一个值，增加一个对应的模拟输入 x ，使 x 恒等于1来模拟该表达式，方便矩阵运算。

括号中的数值加和称作感知器的前馈运算，即还没有进入激活函数进行计算的结果，写作logit或者logits。

表达公式

具体来说，给定一个小批量样本 X∈Rn×d ，其批量大小为 n ，输入个数为 d 。假设多层感知机只有一个隐藏层，其中隐藏单元个数为 h 。记隐藏层的输出（也称为隐藏层变量或隐藏变量）为 H ，有 H∈Rn×h 。因为隐藏层和输出层均是全连接层，可以设隐藏层的权重参数和偏差参数分别为 Wh∈Rd×h 和 bh∈R1×h ，输出层的权重和偏差参数分别为 Wo∈Rh×q 和 bo∈R1×q 。

我们先来看一种含单隐藏层的多层感知机的设计。其输出 O∈Rn×q 的计算为

HO=XWh+bh,=HWo+bo,

也就是将隐藏层的输出直接作为输出层的输入。如果将以上两个式子联立起来，可以得到

O=(XWh+bh)Wo+bo=XWhWo+bhWo+bo.

从联立后的式子可以看出，虽然神经网络引入了隐藏层，却依然等价于一个单层神经网络：其中输出层权重参数为 WhWo ，偏差参数为 bhWo+bo 。不难发现，即便再添加更多的隐藏层，以上设计依然只能与仅含输出层的单层神经网络等价。

感知机接收多个输入信号，输出一个信号，上图是一个接收两个输入信号的感知机的例子。 x1、 x2是输入信号，y是输出信号， w1、 w2是权重（w是weight的首字母）。图中的○称为“神经元”或者“节点”。输入信号被送往神经元时，会被分别乘以固定的权重（w1x1、 w2x2）。神经元会计算传送过来的信号的总和，只有当这个总和超过了某个界限值时，才会输出1。这也称为“神经元被激活” 。这里将这个界限值称为阈值，用符号 θ表示。

多层感知机(multi-layer perceptron)/神经网络(neural network)

1. 相比于感知器，引入了隐层(hidden layer)概念；

   隐层, 不包括输入层和输出层，在输入层和输出层中间的所有N层神经元就称作隐层！通常输入层不算作神经网络的一部分，

对于有一层隐层的神经网络，叫做单隐层神经网络或二层感知机；对于第L个隐层，通常有以下一些特性：

a) L层的每一个神经元与 L-1 层的每一个神经元的输出相连；

b) L层的每一个神经元互相没有连接；

2. 引入了新的非线性激活函数(sigmoid/tanh等)

3. 反向传播算法(back propagation)

4. 优化算法(梯度下降，随机梯度下降，mini-batch)

5. 关于激活函数的选择
   ReLu函数是一个通用的激活函数，目前在大多数情况下使用。但是，ReLU函数只能在隐藏层中使用。

用于分类器时，sigmoid函数及其组合通常效果更好。由于梯度消失问题，有时要避免使用sigmoid和tanh函数。

在神经网络层数较多的时候，最好使用ReLu函数，ReLu函数比较简单计算量少，而sigmoid和tanh函数计算量大很多。

在选择激活函数的时候可以先选用ReLu函数如果效果不理想可以尝试其他激活函数。

多层感知机
多层感知机就是含有至少一个隐藏层的由全连接层组成的神经网络，且每个隐藏层的输出通过激活函数进行变换。多层感知机的层数和各隐藏层中隐藏单元个数都是超参数。以单隐藏层为例并沿用本节之前定义的符号，多层感知机按以下方式计算输出：
HO=ϕ(XWh+bh),=HWo+bo,