sigmoid函数原理及饱和后梯度消失的问题

sigmoid函数原理及饱和后梯度消失的问题

sigmoid函数结构

sigmoid函数，是神经网络中的一种激活函数，其输出范围在(0,1)之间。主要运动于:
1、 作为激活函数，利用输出范围(0,1)与其非线性的特点，常用于在神经网络中间层作为激活函数；
2、在神经网络的最后一层将结果规则化在(0,1)之间。

sigmoid函数饱和带来的问题

1、 梯度消失
一种解决方法是在sigmoid层之前加入Batch Normalization层，即进行批规范化处理(BN)，就是对每个神经元的输出进行规范化，使得均值为 0，方差为 1，之后再进入激活函数。但是每一层规范化后，输出就以极大的概率落在靠近中心的区间，这个区域sigmoid的梯度变化很大，也就不存在梯度消失的问题，但是又比较笔直，近似于线性。于是BN引入了新的参数进行学习，对规范化后的输出做一次线性映射，同时对参数进行学习，提高输出落在非线性区间的概率， 使得sigmoid 函数梯度小和线性表达之间做了一个平衡。