卷积神经网络之relu激活函数的理解

激活函数的目的:神经网络中,激活函数的作用是能够给神经网络加入一些非线性因素,使得神经网络可以更好地解决较为复杂的问题。
relu激活函数如图所示:
卷积神经网络之relu激活函数的理解_第1张图片
relu激活函数的优势:
(1)反向传播时,可以避免梯度消失。
(2)Relu会使一部分神经元的输出为0,这样就造成了网络的稀疏性,并且减少了参数的相互依存关系,缓解了过拟合问题的发生(以及一些人的生物解释balabala)。
(3)**相对于sigmoid激活函数,tanh激活函数,求导简单。**采用sigmoid等函数,算激活函数时(指数运算),计算量大,反向传播求误差梯度时,求导涉及除法,计算量相对大,而采用Relu激活函数,整个过程的计算量节省很多。
缺点:
(1)左侧神经元为0,导致神经元死亡,不再更新。
(2)输出非负,仍然存在zigzag现象。

参考资料:
https://blog.csdn.net/qq_34638161/article/details/81902989
https://blog.csdn.net/cherrylvlei/article/details/53149381

你可能感兴趣的:(机器学习,深度学习)