深度学习——激活函数(Sigmoid/ReLU/Softplus/Swish/Maxout)

激活函数的作用

       激活函数对于深度学习来说非常的重要，我们假设现在有n个神经元$x_1,\dots ,x_n$，其参数为$w_1,\dots ,w_n$，偏置为b。
$$z=\sum _{i=1}^n{w}_i{x}_i+b$$
$$a=f(z)$$其中f为激活函数。

       我们可以发现如果没有激活函数的话，那么神经网络就变成了线性函数的不断嵌套，对于非线性关系学习不好。

激活函数需要的性质

1. 连续可导的非线性函数，这样可以拟合非线性关系还可以用数值优化求解。
2. 激活函数及其导数其形式必须简单，这样加快网络的学习。
3. 激活函数的导数不能太大或者太小，最好稳定在1左右。太大会梯度爆炸，太小会梯度消失。

激活函数的种类

1.Sigmoid型

       常用的Sigmoid型函数有两种，第一个是logistic函数，第二个是tanh函数。这两个函数都是连续可导的，并且导数都不大，所以性质比较好，但是缺点在于他们都是两端饱和的，导数趋近于0。

logistic函数

定义：$$\sigma (x)=\frac{1}{1+exp(-x)}$$