深度学习(五)——解决梯度消失的三个思路

1. 什么是梯度消散?

如下图u介绍,当用sigmod函数时,当z过大或过小会发现梯度(斜率)接近水平,变成0了,即梯度消失
深度学习(五)——解决梯度消失的三个思路_第1张图片

2. 解决方法

思路一

  • 使用relu函数,因为relu函数z小于0是,结果恒为0,z大于0时,结果为z本身,这样就是一条45度的直线,梯度永远不变,即不会消失
  • 不饱和激活函数
    • leaky relu
      如下图,解决了relu在小于0的时候的不足,需自己实现
      深度学习(五)——解决梯度消失的三个思路_第2张图片
      深度学习(五)——解决梯度消失的三个思路_第3张图片
    • elu,
      如下图,解决了leaky relu在z=0处不可导的问题,已封装好,直接使用,但是求曲线处的斜率计算相对复杂
      深度学习(五)——解决梯度消失的三个思路_第4张图片
      在这里插入图片描述

思路二:改变w

继续使用sigmod函数,我们发现只有z过大或过小才会使得梯度消失,那么我们只要控制z在某个区间内,不会过大或过小,则不会消失
z=x*w,我们尝试改变w
深度学习(五)——解决梯度消失的三个思路_第5张图片
深度学习(五)——解决梯度消失的三个思路_第6张图片

思路三:改变x

改变x使得z不会过大
深度学习(五)——解决梯度消失的三个思路_第7张图片

你可能感兴趣的:(深度学习)