23、深度学习-自学之路-激活函数relu、tanh、sigmoid、softmax函数的正向传播和反向梯度。
在使用这个非线性激活函数的时候,其实我们重点还是学习的是他们的正向怎么传播,以及反向怎么传递的。如下图所示:第一:relu函数的正向传播函数是:当输入值(隐藏层)值大于了,就输出自己本身的值。反向梯度传播:当输出值大于0,那么反向梯度值就等于输出值乘以1如果小于0,那反向梯度值就等于0.通俗的来说就是,如果输入值是0或小于0,那么输出值的反向增强就没有。如果输入值大于0,那么输出值的方向增强就有。