python画出激活函数 sigmoid,tanh,Relu

sigmoid函数

f(x)= 1 / (1+ e^(-x))
python画出激活函数 sigmoid,tanh,Relu_第1张图片
sigmoid函数

tanh函数![tanh函数](http://upload-images.jianshu.io/upload_images/9516250-3c2364cfe14347cf.png? imageMogr2/auto-orient/strip%7CimageView2/2/w/1240)

两者都能为神经网络提供非线性组合以逼近任意函数,但是在都会出现梯度消失或者梯度爆炸的情况,而且计算比较复杂。

区别在于tanh函数的取值范围是(-1,1)而sigmoid的取值范围是(0,1),相比sigmoid,tanh能提供负激励的效果。

RELU函数
python画出激活函数 sigmoid,tanh,Relu_第2张图片
Relu函数

Relu的有点在于计算简单,梯度稳定,也可以表现出抑制的效果

你可能感兴趣的:(python画出激活函数 sigmoid,tanh,Relu)