ReLU激活函数的快速介绍

ReLU全名Rectified Linear Unit,意思是修正线性单元。Relu激活函数是常用的神经激活函数。
ReLU函数其实是分段线性函数,把所有的负值都变为0,而正值不变,这种操作被成为单侧抑制。
ReLU激活函数的快速介绍_第1张图片

ReLU的优点:①ReLu具有稀疏性,可以使稀疏后的模型能够更好地挖掘相关特征,拟合训练数据;
②在x>0区域上,不会出现梯度饱和、梯度消失的问题;
③计算复杂度低,不需要进行指数运算,只要一个阈值就可以得到激活值。

RuLU的缺点也同样明显:①输出不是0对称
②由于小于0的时候激活函数值为0,梯度为0,所以存在一部分神经元永远不会得到更新
ReLU激活函数的快速介绍_第2张图片

资料扩展
为了弥补sigmoid函数和tanh函数的缺陷,所以出现了ReLU激活函数。
这些激活函数的出现有一个历史先后问题, sigmoid函数出现的早, ReLU是晚辈;其次,不存在绝对的说法让ReLU完胜其它任何方案,因为在很多时候,不试一试别的方案,谁都不敢拍胸脯说这个网络已经没法提升了, 这就是神经网络的特点。
ReLU激活函数的快速介绍_第3张图片

ReLU激活函数求导不涉及浮点运算,所以速度更快。在z大于零时梯度始终为1;在z小于零时梯度始终为0;z等于零时的梯度可以当成1也可以当成0,实际应用中并不影响。
对于隐藏层,选择ReLU作为激活函数,能够保证z大于零时梯度始终为1,从而提高神经网络梯度下降算法运算速度。

你可能感兴趣的:(笔记,学习生活,机器学习,神经网络)