Relu 与 leakyRelu

转自:激活函数Relu 及 leakyRelu_有丝吼的博客-CSDN博客_leaky relu

Relu 及 leakyRelu是深度学习中常用的激活函数,看了几篇博客后,做一个小的总结。
     1. Relu:
              数学表达式:a = max(0, z)
            函数图像为:
                  Relu 与 leakyRelu_第1张图片
           优点:由上图可以看出,Relu得到的SGD的收敛速度较快
           缺点:训练的时候很容易‘die'了,对于小于0的值,这个神经元的梯度永远都会是0,在实际操错中,如果learning rate很大,很可能网络中较多的神经元都'dead'了,即使是较小的learning rate,这种情况也很有可能发生。
        为了解决以上的问题,提出了leakyRelu激活函数:
    2. leakyRelu:
            数学表达式:y = max(0, x) + leak*min(0,x)  (leak是一个很小的常数,这样保留了一些负轴的值,使得负轴的信息不会全部丢失)
            leakyRelu的图像:
                        Relu 与 leakyRelu_第2张图片
 3. 在tf中的实现:
         Relu在tf中有官方的实现,可以直接调用函数 tf.nn.relu( features, name= None )
         leakyRelu的简单实现可以这么写: tf.maximum(leak * x, x),
          比较高效的写法为:
               Relu 与 leakyRelu_第3张图片

 

 

 

你可能感兴趣的:(机器视觉,cnn,人工智能,神经网络)