前馈神经网络--常见激活函数之Swish

函数表达式:

y = x⋅sigmoid(βx)

代码实现及可视化

import numpy as np

def sigmoid(x):
    a = np.exp(x)
    ans = a / ( a + 1)
    return ans

def swish(x,B):
    return x * sigmoid(B * x)

import matplotlib.pyplot as plt
c = ['k','r','b','m','g','c']
X = np.linspace(-5, 5, 20)
B_li = [0,0.1,0.5,1,50,100]
plt.figure()
for i in range(6):
    Y = list()
    for k in X:
        Y.append(swish(k,B_li[i]))
    plt.plot(X,Y,c[i])
plt.title('Swish_Image')
plt.xlabel('x')
plt.ylabel('y')
plt.legend(B_li)
plt.show()

当β取不同的值时，函数图像如上图所示
当β = 0时，Swish激活函数变为线性函数 f(x) = x/2,
当β = ∞时，Swish激活函数变为0或x，相当于Relu，
Swish函数可以看作是介于线性函数与ReLU函数之间的平滑函数。
(它的求导我有一些看不懂……)

函数特性

1.Swish函数有下界，无上界，sigmoid函数取值位于[0,1]之间

2.Swish函数是一个非单调函数

3.Swish函数和其一阶导数都具有平滑特性