常见激活函数及其求导相关知识

Sigmoid函数

Sigmoid函数介绍

Sigmoid 是常用的非线性的激活函数，公式如下：
$$\sigma (x)=\frac{1}{1+e^{-x}}$$
函数图像如下：

从图像可以看出，它能够把连续实值映射为0和1之间的输出，特别的，如果是非常大的负数，那么输出就是0；如果是非常大的正数，输出就是1。

Sigmoid 函数有很多局限性：

第一点，在数值的绝对值非常大的情况下，对应的函数图像的部分几乎是一条水平线。这意味着梯度几乎为0，不利于深层网络中梯度的反向传播，容易造成梯度消失。

第二点，Sigmoid 的输出不是0均值，导致梯度的更新要么都往正方向更新，要么都往负方向更新，导致有一种捆绑的效果，使得收敛缓慢。具体的解释，在文末讨论。

第三点，式子包含幂运算，计算量很大。

Sigmoid函数求导

求导过程及结果如下：
$$\begin{array}{rl}{\sigma }^{\prime }(x)& ={\left(\frac{1}{1+e^{-x}}\right)}^{\prime }\\ & =\frac{e^{-x}}{{\left(1+e^{-x}\right)}^2}\\ & =\frac{1+e^{-x}-1}{{\left(1+e^{-x}\right)}^2}\\ & =\sigma (x)(1-\sigma (x))\end{array}$$
函数图像如下：

求导的结果可以看出，导数的最大值为0.25，小于1 ，很容易造成梯度消失。

tanh 函数

tanh 函数介绍

tanh 函数公式如下：
$$\tanh (x)=\frac{e^x-e^{-x}}{e^x+e^{-x}}$$
图像如下：

tanh 函数决了Sigmoid函数的输出不是0均值，然而，梯度消失和幂运算的问题仍然存在。

tanh 函数求导

求导过程如下：
$$tanh(x{)}^{\prime }=\frac{(e^x+e^{-x}{)}^2-(e^x-e^{-x}{)}^2}{(e^x+e^{-x}{)}^2}=1-(tanh(x){)}^2$$
求导后的图像：

Relu函数

Relu函数介绍

Relu函数公式如下：
$$ReLU(x)=\{\begin{array}{ll}0,& x⩽0\\ x,& x>0\end{array}$$
函数图像如下：

Relu 函数在输出值大于 0 的部分的导数值都大于0，并且不趋近于0，因而梯度下降速度较快。

Relu 函数在输出值小于 0 的部分的导数值都等于0，此时神经元就不会得到训练，能对网络产生稀疏性，降低过分拟合的概率。

但是也存在以下问题：

1. 输出不是0均值
2. Dead ReLU Problem：因梯度等于0导致失效的神经元不会再被激活

注：为了解决第二个问题，有人提出了Leaky ReLU激活函数：$LeakyReLU(x)=max(0.01x,x)$，使得小于0的部分有些许梯度。

尽管ReLU存在这两个问题，ReLU目前仍是最常用的激活函数，在搭建模型的时候推荐优先尝试。

Relu函数求导

求导结果如下：
$$ReLU(x{)}^{\prime }=\{\begin{array}{ll}0,& x⩽0\\ 1,& x>0\end{array}$$
函数图像如下：

Softmax函数

Softmax函数介绍

对于多分类任务，常用的激活函数是 Softmax 激活函数。使用了Softmax函数的神经网络对应多个输出层神经元 ，如下图所示；

每个输出单元的数值代表该类别的概率$p_i$，数值越大，说明属于该类别可能性越大。

具体而言，假设倒数第二层的输出值为：
$$z_i=w_{i}x+b_i$$
假设有K个类别，Softmax函数定义如下：
$$Softmax(z_i)=\frac{e^{z_i}}{{\sum }_{i=1}^K{e}^{z_i}}\forall i\in 1\dots K$$
则在最后一层使用 Softmax 激活函数后的输出值为：
$$h_w(x)=\left[\begin{array}{c}{p}_1\\ p_2\\ ⋮\\ p_K\end{array}\right]=\frac{1}{{\sum }_{i=1}^K{e}^{z_i}}\left[\begin{array}{c}{e}^{z_1}\\ e^{z_2}\\ ⋮\\ e^{z_K}\end{array}\right]$$
上式结果向量中最大值得对应类别为预测类别。

Softmax函数求导

Softmax 的损失函数是预测概率的负对数似然函数：
$$\begin{array}{rl}L(w)& =-\log P(y^{(i)}|x^{(i)};w)\\ & =-\prod _{k=1}^K\log {\left(\frac{e^{z_i}}{{\sum }_{j=1}^K{e}^{z_j}}\right)}^{y_k}\\ & =-\sum _{k=1}^K{y}_k\log \left(\frac{e^{z_k}}{{\sum }_{j=1}^K{e}^{z_j}}\right)\end{array}$$
注：$y_k=I\{y^{(j)}=k\}$ 是指示函数，当$y^{(j)}=k$，即当第$j$个样本属于第$k$个类别时，取值为1，否则为0。 我们的目标是：
$$\min L(w)$$
通过梯度下降法则求解最优参数。

设第$i$ 个输出为：
$$s_i=\frac{e^{z_i}}{{\sum }_{i=1}^K{e}^{z_i}}i=1,2,\dots ,K$$
针对某一个样本：
$$\begin{array}{rl}\frac{\partial L}{\partial w_i}& =\frac{\partial L}{\partial z_i}\frac{\partial z_i}{\partial w_i}\\ \frac{\partial L}{\partial b_i}& =\frac{\partial L}{\partial z_i}\frac{\partial z_i}{\partial b_i}\end{array}$$
显然：
$$\begin{gathered} \frac{\partial z_i}{\partial w_i}=x \\ \frac{\partial z_i}{\partial b_i}=1 \end{gathered}$$
所以核心问题是求$\frac{\partial L}{\partial z_i}$：
$$\frac{\partial L}{\partial z_i}=\sum _{k=1}^K\left[\frac{\partial L}{\partial s_k}\frac{\partial s_k}{\partial z_i}\right]$$
其中$\frac{\partial L}{\partial s_k}$为：
$$\frac{\partial L}{\partial s_k}=\frac{\partial \left(-{\sum }_{k=1}^K{y}_k\log s_k\right)}{\partial s_k}=-\frac{y_k}{s_k}$$
接下来就是要求$\frac{\partial s_k}{\partial z_i}$ 了。先来复习一下复合求导公式：
$$\begin{gathered} f(x)=\frac{g(x)}{h(x)} \\ {f}^{\prime }(x)=\frac{g^{\prime }(x)h(x)-g(x)h^{\prime }(x)}{[h(x){]}^2} \end{gathered}$$
根据 k 与 i 的关系，需要分两种情况讨论：

（1）当$k\ne i$时，那么：
$$\begin{array}{rl}\frac{\partial s_k}{\partial z_i}& =\frac{\partial \frac{e^{z_k}}{{\sum }_{j=1}^K{e}^{z_j}}}{\partial z_i}\\ & =\frac{-e^{z_k}\cdot e^{z_i}}{({\sum }_{j=1}^K{e}^{z_j}{)}^2}\\ & =-\frac{e^{z_k}}{{\sum }_{j=1}^K{e}^{z_j}}\frac{e^{z_i}}{{\sum }_{j=1}^K{e}^{z_j}}\\ & =-s_k{s}_i\end{array}$$
（2）当$k=i$时，那么：
$$\begin{array}{rl}\frac{\partial s_k}{\partial z_i}& =\frac{\partial s_i}{\partial z_i}=\frac{\partial \frac{e^{z_i}}{{\sum }_{j=1}^K{e}^{z_j}}}{\partial z_i}\\ & =\frac{e^{z_i}{\sum }_{j=1}^K{e}^{z_j}-(e^{z_i}{)}^2}{({\sum }_{j=1}^K{e}^{z_j}{)}^2}\\ & =\frac{e^{z_i}}{{\sum }_{j=1}^K{e}^{z_j}}\frac{{\sum }_{j=1}^K{e}^{z_j}-e^{z_i}}{{\sum }_{j=1}^K{e}^{z_j}}\\ & =s_i(1-s_i)\end{array}$$
所以：
$$\begin{array}{l}\frac{\partial \mathrm{L}}{\partial {\mathrm{z}}_i}={\sum }_{k=1}^K\left[\frac{\partial L}{\partial s_k}\frac{\partial s_k}{\partial z_i}\right]={\sum }_{k=1}^K\left[-\frac{y_k}{s_k}\frac{\partial s_k}{\partial z_i}\right]\\ =-\frac{y_i}{s_i}\frac{\partial s_i}{\partial z_i}+{\sum }_{k=1,k\ne i}^K\left[-\frac{y_k}{s_k}\frac{\partial s_k}{\partial z_i}\right]\\ =-\frac{y_i}{s_i}{s}_i\left(1-s_i\right)+{\sum }_{k=1,k\ne i}^K\left[-\frac{y_k}{s_k}\cdot -s_k{s}_l\right]\\ =y_i\left(s_i-1\right)+{\sum }_{k=1,k\ne i}^K{y}_k{s}_i\\ =-y_i+y_i{s}_i+{\sum }_{k=1,k\ne i}^K{y}_k{s}_i\\ =-y_i+s_i{\sum }_{k=1}^K{y}_k\end{array}$$
对于某个样本$x$对应的标签$y$为一个向量：$y=(y_1,y_2,\dots ,y_K)$，其中只有一个元素是1，如$y=(1,0,\dots ,0)$ 。所以有：${\sum }_{k=1}^K{y}_k=1$，所以：
$$\frac{\partial \mathrm{L}}{\partial {\mathrm{z}}_i}=s_i-y_i$$
所以最终结果为：
$$\begin{gathered} \frac{\partial L}{\partial w_i}=(s_i-y_i)x \\ \frac{\partial L}{\partial b_i}=s_i-y_i \end{gathered}$$
所以，更新法则如下：
$$\begin{gathered} w_i=w_i-\eta (s_i-y_i)x \\ {b}_i=b_i-\eta (s_i-y_i) \end{gathered}$$
直至收敛为之。

激活函数作用

先看个例子，比如我们需要给下面的图像进行二分类，也就是找出圆圈和三角形的边界：

如果没有激活函数，我们训练出来的分类器是线性的，它的效果也许会是这样：

始终无法完美的完成任务。训练出来的模型只是把输入的数据线性组合后再输出，即使你有多个隐藏层，本质上也是在进行线性计算，其结果仍然是一个线性函数，无法完成复杂的分类任务。

然而，如果我们训练出来的模型是非线性的，那么它的分类效果可能是这样的：

要实现这样的分类效果，就需要借助非线性的激活函数（比如 tanh函数）将每一层的输出 z 进行一次非线性的变换。这样可以加入非线性因素，让原本的直线（或者平面）“扭曲”起来，达到拟合复杂的曲线(或者曲面)的效果，这样就提高神经网络对模型的表达能力，让神经网络的模型任意逼近复杂的函数。显然非线性拟合的效果要比线性拟合的效果好的多。

激活函数的选择

1. sigmoid 激活函数：除了输出层是一个二分类问题基本很少用它。
2. tanh 激活函数： tanh 是非常优秀的， 几乎适合所有场合。
3. ReLu 激活函数：最常用的默认函数，如果不确定用哪个激活函数，就使用 ReLu 或者Leaky ReLu。

均值不为零问题

假设输入与输出的关系为：
$$f(x;w,b)=f(z)=f(\sum _i{w}_i{x}_i+b).$$
其中$f$是激活函数。进而计算$w_i$的梯度，于是有：
$$\frac{\partial L}{\partial w_i}=\frac{\partial L}{\partial f}\frac{\partial f}{\partial z}\frac{\partial z}{\partial w_i}=x_i\cdot \frac{\partial L}{\partial f}\frac{\partial f}{\partial z}.$$
发现梯度值包含$\frac{\partial L}{\partial f}\frac{\partial f}{\partial z}$，如果我们使用的激活函数是Sigmoid函数，那么$\frac{\partial L}{\partial f}\frac{\partial f}{\partial z}$这一项永远是正数，于是梯度的更新方向永远都被输入值$x_i$的正负号决定了，每次迭代都只能向着固定的方向进行梯度下降，不利于收敛，也就降低了训练的速度。

参考文章：

1. 深度学习中的激活函数介绍

2. softmax回归详解

3. 谈谈激活函数以零为中心的问题