NLP | 激活函数与梯度

常见激活函数

• sigmoid
• tanh
• ReLU

1. sigmoid函数

$f(x)=\sigma (x)=\frac{1}{1+e^{-x}}$
函数图像如下

将输出[-∞,+∞]限制在[0，1]之间，且函数变化平滑。
梯度：
$f^{{}^{\prime }}(x)={\sigma }^{{}^{\prime }}=\sigma (1-\sigma )$

2.tanh函数

$tanh(x)=\frac{e^x-e^{-x}}{e^x+e^{-x}}$
函数图像

将输出[-∞,+∞]限制在[-1，1]之间，且函数变化平滑。（一般用于RNN等）
$f(xx)=tanh(x)=2sigmoid(2x)-1$
梯度
$f^{{}^{\prime }}(x)=1-tan{h}^2(x)$

3.ReLU函数

$f(x)=\{\begin{array}{r}0,x<0\\ x,x\ge 0\end{array}$
函数图像

$f^{{}^{\prime }}(x)=1,x\ge 0$

• 一般来说，优先选择ReLU函数。