深度学习中的激活函数之 sigmoid、tanh 和 ReLU

ReLU函数

ReLU(rectified linear unit)函数提供了一个很简单的非线性变换。给定元素x,该函数定义为

$$ReLU(x)=max(x,0).$$

可以看出,ReLU函数只保留正数元素,并将负数元素清零。

sigmoid函数

sigmoid函数可以将元素的值变换到0和1之间:
$$sigmoid(x)=\frac{1}{1+exp(-x)}$$

依据链式法则,sigmoid函数的导数为
$$sigmoi{d}^{\prime }(x)=sigmoid(x)(1-sigmoid(x))$$

tanh函数

tanh(双曲正切)函数可以将元素的值变换到-1和1之间:
$$tanh(x)=\frac{1-exp(-2x)}{1+exp(-2x)}$$
当输入接近0时, tanh函数接近线性变换。虽然该函数的形状和sigmoid函数的形状很像,但tanh函数在坐标系的原点上对称。