机器学习中常用的激活函数

[TOC]

sigmoid激活函数

#将图片内嵌在交互窗口，而不是弹出一个图片窗口 打印
%matplotlib inline 
import matplotlib.pyplot as plt
import numpy as np
# 激活函数
def sigmoid(x,deriv = False):
    if deriv is True:
        return x * (1-x)
    return 1/(1+np.exp(-x))

x = np.arange(-10,10,step=0.5)
y = [sigmoid(i) for i in x]
plt.plot(x, y)
#下面行不写会出现 [] 字样
plt.show()

sigmoid

ReLU函数

#将图片内嵌在交互窗口，而不是弹出一个图片窗口 打印
%matplotlib inline 
import matplotlib.pyplot as plt
import numpy as np
# 激活函数
def relu(x):
    return max(0,x)

x = np.arange(-10,10,step=0.5)
y = [relu(i) for i in x]
plt.plot(x, y)
#下面行不写会出现 [] 字样
plt.show()

relu.png