激活函数

• 常见激活函数、激活函数的公式、以及其与其导数的关系，优缺点

sigmoid：
梯度杀手，激活值大一些或小一些时导数都会逼近0，所以要注意参数的初始化

tanh：

优点：没有非0点问题；输入在0点附近时，梯度较大，会进行较大的权重调整。
缺点：仍然会导致梯度消失问题

softsign、hard tanh 、softPlus
ReLU：
优点：导数更简单、计算复杂度低；更加容易收敛，因为没有最大值上界、没有饱和区
缺点：会造成死神经元——参数单次进行大尺度的调整，但是单次大尺度调整后再也无法形成有效的激活，但学习率设置得较大时，有可能造成40%以上的'死神经元。为解决这个问题，设计了 leaky Relu

leaky ReLU、randomized leaky ReLU、PReLU

ELU、SELU、Maxout、

Softmax： ，对于多分类问题，通常会使用 softmax作为输出层的激活函数