Sigmoid/Tanh/ReLu激活函数的优缺点

激活函数的作用

引入非线性，增强神经网络的表达能力

Sigmoid/Tanh/ReLu激活函数的优缺点

这三个激活函数都没能解决梯度消失

梯度弥散就是梯度消失。
一种很流行的说法是Relu解决了梯度消失的问题，其实并不是这样。
单从激活函数的导数来说，看激活函数的“死区”范围，即导数接近于0的区间。Sigmoid和Tanh仅0附近一小段范围非死区；即使是Relu仍有一半的死区。
此外，梯度不仅包括激活函数的导数，还有输出值。不能指望一个激活函数能解决梯度消失。不同的激活函数对输出有不同的影响。要考虑的东西就更多了。