神经网络激活函数的作用、类型、设计原则

一． 激活函数
激活函数激活函数在神经元中非常重要的。为了增强网络的表示能力和学习能力，

1.激活函数需要具备以下几点性质：
(1)连续并可导（允许少数点上不可导）的非线性函数。可导的激活函数可以直接利用数值优化的方法来学习网络参数。
(2)激活函数及其导函数要尽可能的简单，有利于提高网络计算效率。
(3)激活函数的导函数的值域要在一个合适的区间内，不能太大也不能太小，否则会影响训练的效率和稳定性。

2.作用：把线性函数的值域从实数区间“挤压”到了(0, 1)之间，可以用来表示概率。（可以看做是一个变换域的映射关系，某些书籍中也称为“整流线性单元”），其基础的表示为

3.特点：导数较大，梯度一致，二阶导几乎处处为0，一阶导处处为1

4.目标：解决非线性问题

5.类型：
5.1 Sigmoid（Logistic）

优点：输出映射在（0,1）内，单调连续，求导容易
缺点：输入落在非（-5,5）的区域内，求导接近于0，会导致梯度消失
性质： 1）其输出直接可以看作是概率分布，使得神经网络可以更好地和统计学习模型进行结合。 2）其可以看作是一个软性门（Soft Gate），用来控制其它神经元输出信息的数量

5.2 Tanh

优点：值域是 (-1, 1)，以0为输出中心，收敛速度快
缺点：梯度消失

5.3 ReLU: 一个斜坡（ramp）函数

优点：采用 ReLU 的神经元只需要进行加、乘和比较的操作，计算上更加高效。
缺点：输出是非零中心化的，给后一层的神经网络引入偏置偏移，会影响梯度下降的效率。
(1)Leaky ReLU：输入 x < 0时，保持一个很小的梯度 λ。这样当神经元非激活时也能有一个非零的梯度可以更新参数，避免永远不能被激活

(2)PRelu：引入一个可学习的参数，不同神经元可以有不同的参数

(3)ELU

5.4 Sotfplus

优点：单侧抑制、宽兴奋边界的特性
缺点：没有稀疏激活性

5.5 Swish: 一种自门控（Self-Gated）激活函数

其中σ(·)为 Logistic函数
Swish函数可以看作是线性函数和 ReLU函数之间的非线性插值函数，其程度由参数 β 控制

6.总结
在设计激活函数时应考虑的几个问题：
（1） 激活函数在输入域内单调连续
（2） 输出最好以0为中心，会使收敛速度快
（3） 输出最好不存在饱和，可以解决梯度消失
（4） 函数易求导，一阶导为1，二阶导几乎处处为0