神经网络常见激活函数总结

最近在看大佬们整理的吴恩达老师的深度学习笔记，在这里总结一些常用的激活函数，以及它们的特点和选择。

sigmoid 函数

Sigmoid 是基础的非线性的激活函数，作用是将输入的连续实值变换为0和1之间的输出。对于非常大的负数，输出为0；对于非常大的正数，输出为1。

它的数学公式为：

函数图像如下图：

tanh函数

tanh函数的值域位于(-1,1)之间，且穿过原点。实际上，它是sigmoid函数向下平移和伸缩后的结果。它的数学公式为：

函数图像如下图：

relu函数

relu函数是一种修正的线性函数，它的数学公式为：

函数图像如下图：

对于relu函数，当x为负数时，导数恒为0；当x为正数，倒数恒为1。从实际上来看，当使用x的导数时，x=0的导数是没有定义的。但是在编程实现的时候，z的取值刚好等于0.00000000001，这个值很小，所以在实践中， 不需要担心这个值，z等于0的时候，假设倒数为0或1都是可以的。

Leaky Relu函数

relu函数的简单变式：即当x<0，函数值不为0，而是轻微的向下倾斜：

四种激活函数的比较

1. tanh和sigmoid在x特别大或者特别小的情况下，倒数的梯度或者函数的斜度会变得特别小，最后趋近于0，导致梯度下降的速度变小，即梯度弥散。而Relu与Leaky Relu不会产生梯度弥散现象。

2.Relu进入负半区时，梯度为0，神经元此时不会训练，会产生所谓的稀疏性，而Leaky Relu不会有这个问题。

3. 一般来说，效果：Leaky Relu > Relu > tanh > sigmoid。使用Relu激活函数时，神经网络通常会比使用tanh和sigmoid激活函数学习的更快。

四种激活函数的选择

1.如果隐藏层不确定使用哪个激活函数，那么通常会使用relu激活函数。

2.如果输出是0、1值，输出层选择sigmoid函数，其他层选择relu函数。(在神经网络的不同层，可以选择不同的激活函数)

3.Leaky Relu 函数通常比Relu函数效果好，但是实际中不常用。

 总结

1. sigmoid函数：除了输出层是一个二分类问题，基本不会用到它。

2. tanh函数：非常优秀，几乎适用于所有场合。

3. Relu函数：最常用的默认函数，如果不确定要用哪个，就可以用Relu或Leaky Relu。

参考资料：DeepLearning 深度学习笔记v5.6