常见的非线性映射

1.sigmoid

函数 

实现代码:

def sigmoid(x):
    return (1/(1+np.exp(-x)))

图像:

2.tanh(双曲正切)

函数 

实现 numpy自带np.tanh(),自己写和sigmoid类似套公式就行了

图像:

3.Relu 修正线性单元

卷积神经网络 激励层用的比较多

函数:f(x) = x (x > 0)  f(x) = 0  (x <= 0)

图像:

变化后的leaky ReLU

图像

对零段线加了一定的斜率,使得实际的训练不会太容易饱和和挂掉

4.ELU 指数线性单元

函数:

图像:

ELU有ReLU的基本所有特性,也不容易死,均值趋近于0,就是指数化了之后计算量大

5.Maxout

函数 

Maxout也是两段直线,但并非是经过原点的固定直线,传入的值可以改变两条直线.

计算是线性的,不容易饱和也不容易挂掉.但是参数多了不老少,两条直线是拼接的模式