tanh,relu,sigmoid激活函数numpy实现

from matplotlib import pyplot as pl


x=np.arange(-5,5,0.01)

#Relu
y1=np.where(x>0,x,0)
pl.plot(x,y1)
pl.show()

y2=(x+np.abs(x))/2
pl.plot(x,y2)
pl.show()

y3=np.maximum(x,0)
pl.plot(x,y3)
pl.show()


#Sigmoid
y4=1/(1+np.exp(-x))
pl.plot(x,y4)
pl.show()

#Tanh
y5=(np.exp(x)-np.exp(-x))/(np.exp(x)+np.exp(-x))##np.tanh(x)
pl.plot(x,y5)
pl.show()

输出为:
神经网络激活函数