卷积神经网络之relu激活函数的理解

激活函数的目的：神经网络中，激活函数的作用是能够给神经网络加入一些非线性因素，使得神经网络可以更好地解决较为复杂的问题。
relu激活函数如图所示：

relu激活函数的优势：
（1）反向传播时，可以避免梯度消失。
（2）Relu会使一部分神经元的输出为0，这样就造成了网络的稀疏性，并且减少了参数的相互依存关系，缓解了过拟合问题的发生（以及一些人的生物解释balabala）。
（3）**相对于sigmoid激活函数，tanh激活函数，求导简单。**采用sigmoid等函数，算激活函数时（指数运算），计算量大，反向传播求误差梯度时，求导涉及除法，计算量相对大，而采用Relu激活函数，整个过程的计算量节省很多。
缺点：
（1）左侧神经元为0，导致神经元死亡，不再更新。
（2）输出非负，仍然存在zigzag现象。

参考资料：
https://blog.csdn.net/qq_34638161/article/details/81902989
https://blog.csdn.net/cherrylvlei/article/details/53149381