激活函数总结

激活函数

1.Sigmoid 函数

基本概念：Sigmoid函数，它能够把x属于R的输入“压缩”到x属于（0，1）区间内。

表达式：

缺点：sigmoid函数容易出现梯度弥散现象，当网络的层数增加时，较前层的参数无法及时更新，所以无法训练深层神经网络。

用法：tf.nn.Sigmoid(x) 属于概率输出

延伸：梯度弥散是指梯度值接近0的现象。

2.ReLU函数 （修正线性单元）

基本概念：ReLU(修正线性单元)，它对于小于0的值全部抑制为0，对于正数则直接输出。又叫单边抑制特性。

表达式：

优点：在反向传播时，它既不会放大梯度，不会造成梯度爆炸；也不会造成梯度弥散。

用法：tf.nn.relu(x)

3.LeakyReLU 函数

基本概念：添加了一个用户超参数，避免了ReLU造成梯度弥散现象。

表达式：

LeakyReLU函数的导数，当x小于零时，LeakyReLU函数导数值为p，p一般是认为设置的一个较小数值（如0.01或0.02）

用法：tf.nn.leaky_relu(x, alpha=…)

4.Tanh函数

基本概念：Tanh函数，能将x属于R的输入“压缩”到区间[-1，1]区间。

表达式：

用法：tf.nn,tanh(x)

参考文章

[1] https://github.com/dragen1860/Deep-Learning-with-TensorFlow-book