学习多层感知机MLP的心得

感知器 (perceptron)

神经网络中一种模拟神经元(neuron)的结构,有输入(input)、输出(output)、权重(weight)、前馈运算(feed forward)、激活函数(activation function)等部分。单层感知器能模拟逻辑与、逻辑或、逻辑非和逻辑与非等操作,但不能实现逻辑异或!
激活函数可以表示为:
在这里插入图片描述

其中 x 作为输入, w 是对应输入 x 的权重向量,b 为偏置,y是预期计算结果;通常把偏置b作为 w 中一个值,增加一个对应的模拟输入 x ,使 x 恒等于1来模拟该表达式,方便矩阵运算。

括号中的数值加和称作感知器的前馈运算,即还没有进入激活函数进行计算的结果,写作logit或者logits。
在这里插入图片描述

表达公式

具体来说,给定一个小批量样本 X∈Rn×d ,其批量大小为 n ,输入个数为 d 。假设多层感知机只有一个隐藏层,其中隐藏单元个数为 h 。记隐藏层的输出(也称为隐藏层变量或隐藏变量)为 H ,有 H∈Rn×h 。因为隐藏层和输出层均是全连接层,可以设隐藏层的权重参数和偏差参数分别为 Wh∈Rd×h 和 bh∈R1×h ,输出层的权重和偏差参数分别为 Wo∈Rh×q 和 bo∈R1×q 。

我们先来看一种含单隐藏层的多层感知机的设计。其输出 O∈Rn×q 的计算为

HO=XWh+bh,=HWo+bo,

也就是将隐藏层的输出直接作为输出层的输入。如果将以上两个式子联立起来,可以得到

O=(XWh+bh)Wo+bo=XWhWo+bhWo+bo.

从联立后的式子可以看出,虽然神经网络引入了隐藏层,却依然等价于一个单层神经网络:其中输出层权重参数为 WhWo ,偏差参数为 bhWo+bo 。不难发现,即便再添加更多的隐藏层,以上设计依然只能与仅含输出层的单层神经网络等价。

感知机接收多个输入信号,输出一个信号,上图是一个接收两个输入信号的感知机的例子。 x1、 x2是输入信号,y是输出信号, w1、 w2是权重(w是weight的首字母)。图中的○称为“神经元”或者“节点”。输入信号被送往神经元时,会被分别乘以固定的权重(w1x1、 w2x2)。神经元会计算传送过来的信号的总和,只有当这个总和超过了某个界限值时,才会输出1。这也称为“神经元被激活” 。这里将这个界限值称为阈值,用符号 θ表示。

多层感知机(multi-layer perceptron)/神经网络(neural network)

  1. 相比于感知器,引入了隐层(hidden layer)概念;

    隐层, 不包括输入层和输出层,在输入层和输出层中间的所有N层神经元就称作隐层!通常输入层不算作神经网络的一部分,

对于有一层隐层的神经网络,叫做单隐层神经网络或二层感知机;对于第L个隐层,通常有以下一些特性:

a) L层的每一个神经元与 L-1 层的每一个神经元的输出相连;

b) L层的每一个神经元互相没有连接;
  1. 引入了新的非线性激活函数(sigmoid/tanh等)

  2. 反向传播算法(back propagation)

  3. 优化算法(梯度下降,随机梯度下降,mini-batch)

  4. 关于激活函数的选择
    ReLu函数是一个通用的激活函数,目前在大多数情况下使用。但是,ReLU函数只能在隐藏层中使用。

用于分类器时,sigmoid函数及其组合通常效果更好。由于梯度消失问题,有时要避免使用sigmoid和tanh函数。

在神经网络层数较多的时候,最好使用ReLu函数,ReLu函数比较简单计算量少,而sigmoid和tanh函数计算量大很多。

在选择激活函数的时候可以先选用ReLu函数如果效果不理想可以尝试其他激活函数。

多层感知机
多层感知机就是含有至少一个隐藏层的由全连接层组成的神经网络,且每个隐藏层的输出通过激活函数进行变换。多层感知机的层数和各隐藏层中隐藏单元个数都是超参数。以单隐藏层为例并沿用本节之前定义的符号,多层感知机按以下方式计算输出:
HO=ϕ(XWh+bh),=HWo+bo,

你可能感兴趣的:(学习多层感知机MLP的心得)