day1-多层感知机

内容包括:

  1. MLP简介
    1. 与普通感知机的区别
  • 2.为什么需要多层感知机
  1. 激活函数
  • 1.不同激活函数介绍
    • relu
    • sigmoid
    • tanh
    1. 区别

MLP简介

与普通感知机区别

加入了一个或多个隐藏层,并引入激活函数

多层可以拟合更复杂的线性函数,激活函数可以帮助拟合非线性函数

激活函数

由于没有激活函数的话,多层感知机就是多个矩阵相乘,也就是多次仿射变换,而多个矩阵相乘是可以转换为乘以一个多个矩阵的乘积的,那么多层就没有什么意义了,因此需要引入非线性,从而可以拟合非线性的函数

不同激活函数

Relu函数


image

sigmoid函数


image

tanh函数


image

区别

  1. 都可以实现非线性
  2. ReLU计算更快,其余两个较慢
  3. sigmoid和tanh都可以改变数据分布,有些近似normalize
  4. sigmoid和tanh在深度较深时会发生梯度消失,因为一旦某一层的神经元导数为0,那么后续将无法进行反向传播,而tanh和sigmoid在x很大或者趋近于0时导数都趋向0
  5. ReLU最通用,但是也会杀死神经元

你可能感兴趣的:(day1-多层感知机)