深度学习常用非线性函数及其导数

01 Sigmoid

Sigmoid将输入映射到[0, 1]，梯度下降明显，至少减少75%
f(x)=sigmoid(x)=11−e −x   
f  ′  (x)=f(x)(1−f(x))) 

02 tahn

tahn将输入数据映射到[-1, 1]，梯度损失明显
f(x)=tahn(x)=21+e −2x  −1 
f  ′  (x)=1−f(x) 2  

03 ReLU

ReLU(Rectified linear unit):正向截断负值，损失大量特征；反向梯度没有损失
f(x)=max(x,0)={0forx<0xforx≥0  
f  ′  (x)={0forx<01forx≥0  

04 Keaky ReLU

Leaky RuLU(Rectified linear unit):正向截断负值(保留更多参数，少量梯度方向传播)，损失大量特征(为什么还在用？因为特征足够多)；反向梯度少量损失；(为什么不变成y=x？不行，会成为纯线性)
f(x)={0.01xforx<0xforx≥0  
f  ′  (x)={0.01forx<01forx≥0