神经网络激活函数

目的

神经元引入非线性因素，从而使神经网络能够解决线性不可分的问题，比如最简单的异或。

Hornik证明，只需一个包含足够多的神经元的隐层，多层前馈网络就能以任意精度逼近任意复杂度的连续函数。因此使得神经网络可以任意逼近任何非线性函数，这样神经网络就可以应用到众多的非线性模型中。

如果不用激励函数，每一层输出都是上层输入的线性函数，无论神经网络有多少层，输出都是输入的线性组合。则多层网络退化为单层网络。

比较经典的函数包括：Sigmoid函数、tanh函数、ReLU函数。

一个好的激活函数，通常要满足以下性质：

非线性：即导数不是常数
可微性：保证了在优化中梯度的可计算性。虽然 ReLU 存在有限个点处不可微，但处处 subgradient，可以替代梯度。
计算简单：激活函数复杂就会降低计算速度，因此 RELU 要比 sigmoid等带有Exp操作的激活函数更受欢迎。
非饱和性（saturation）：饱和指的是在某些区间梯度接近于零（即梯度消失），使得参数无法继续更新的问题。最经典的例子是 Sigmoid，它的导数在 x 为比较大的正值和比较小的负值时都会接近于 0。RELU 对于 x<0，其梯度恒为 0，这时候它也会出现饱和的现象。Leaky ReLU 和 PReLU 的提出正是为了解决这一问题。
单调性（monotonic）：即导数符号不变。当激活函数是单调的时候，单层网络能够保证是凸函数。但是激活函数如 mish 等并不满足单调的条件，因此单调性并不是硬性条件，因为神经网络本来就是非凸的。
参数少：大部分激活函数都是没有参数的。像 PReLU 带单个参数会略微增加网络的大小。还有一个例外是 Maxout，尽管本身没有参数，但在同样输出通道数下 k 路 Maxout 需要的输入通道数是其它函数的 k 倍，这意味着神经元数目也需要变为 k 倍。

优点：

缺点：

sigmoid为何会出现梯度消失：

反向传播算法中，要对激活函数求导，sigmoid 的导数表达式为：

sigmoid 原函数及导数图形如下：

由图可知，导数从 0 开始很快就又趋近于 0 了，易造成“梯度消失”现象

梯度消失的解决之道：一般来说， sigmoid 网络在 5 层之内就会产生梯度消失现象。梯度消失问题至今仍然存在，但被新的优化方法有效缓解了，例如DBN中的分层预训练，Batch Normalization的逐层归一化，Xavier和MSRA权重初始化等代表性技术。

为什么追求0为中心（zero-centered）：越接近0为中心，SGD会越接近 natural gradient（一种二次优化技术），从而降低所需的迭代次数。

双曲正切函数取值范围为[-1,1]。
tanh在特征相差明显时的效果会很好，在循环过程中会不断扩大特征效果。

优点：

缺点：
没有改变Sigmoid函数的最大问题——由于饱和性产生的梯度消失。

优点：
由于不需要做指数运算，使用 ReLU 得到的 SGD 的收敛速度会比 sigmoid、tanh 快很多

缺点：

训练的时候很“脆弱”，随着训练的进行，可能会出现神经元死亡，权重无法更新的情况。例如，一个非常大的梯度流过一个 ReLU 神经元，更新过参数之后，这个神经元再也不会对任何数据有激活现象了，那么这个神经元的梯度就永远都会是 0，也就是说，ReLU神经元在训练中不可逆地死亡了。如果 learning rate 很大，那么很有可能网络中的 40% 的神经元都”dead”了。
ReLU的输出具有偏移现象，即输出均值恒大于零。偏移现象和神经元死亡会共同影响网络的收敛性。

针对RELU的缺陷，后续有多种改进函数（Leaky ReLU、PReLU 或者 Maxout），这里不详细展开。

Bengio 教授等将只有在极限状态下偏导数等于0的函数定义为软饱和激活函数；相对应的，对任意的x，如果存在常数c，当x>c或x右/左硬饱和，当x比c小时恒有h′(x)=0则称其为左硬饱和。若既满足左硬饱和，又满足右硬饱和，则称这种激活函数为硬饱和。