tf.nn.leaky_relu()函数

**计算Leaky ReLU激活函数
tf.nn.leaky_relu(
features,
alpha=0.2,
name=None )
参数: features:一个Tensor,表示预激活
alpha:x<0时激活函数的斜率
ame:操作的名称(可选)
返回值:激活值
**

非饱和激活函数:Leaky ReLU的图像
在这里插入图片描述
数学表达式: y = max(0, x) + leak*min(0,x)
优点:
1.能解决深度神经网络(层数非常多)的“梯度消失”问题,浅层神经网络(三五层那种)才用sigmoid 作为激活函数。
2.它能加快收敛速度。

你可能感兴趣的:(深度学习,tensorflow)