Sigmoid函数（logsig）求导

通常情况下，我们所说的Sigmoid函数定义如下：
$$\sigma (x)=\frac{1}{1+e^{-x}}=\frac{e^x}{e^x+1}.$$
它的形状如下：

导数如下：
$$\frac{d\sigma (x)}{dx}=\sigma (x)\cdot (1-\sigma (x)).$$
本篇博文讲$\sigma (x)$导数的推导过程。

注意

Sigmoid函数实际上是指形状呈S形的一组曲线[1]，上述公式中的$\sigma (x)$正式名称为logistic函数，为Sigmoid函数簇的一个特例（这也是$\sigma (x)$的另一个名字，即$logsig$的命名来源）。我们经常用到的hyperbolic tangent函数，即$\tanh x=\frac{e^x-e^{-x}}{e^x+e^{-x}}$也是一种sigmoid函数。

下文依旧称$\sigma (x)$为logistic函数。

logistic函数的有效工作范围是$(-10,10)$，从它的图像也可以看出来：在$(-10,10)$以外，函数值的变化非常小。那么问题来了，如果用logistic函数当神经网络的激活函数，当$x>10$或者$x<-10$时会出现梯度消失（gradient vanishing）的问题，即$\frac{d\sigma (x)}{dx}\approx 0$。换句话说，梯度下降算法会进入死胡同。这一点要特别注意。

求导过程[2]

$$\frac{d\sigma (x)}{dx}=\frac{d}{dx}\left[\frac{1}{1+e^{-x}}\right]=\frac{d}{dx}{\left(1+{\mathrm{e}}^{-x}\right)}^{-1}=-(1+e^{-x}{)}^{-2}(-e^{-x})$$
$$=\frac{e^{-x}}{{\left(1+e^{-x}\right)}^2}$$
$$=\frac{1}{1+e^{-x}}\cdot \frac{e^{-x}}{1+e^{-x}}$$
$$=\frac{1}{1+e^{-x}}\cdot \frac{(1+e^{-x})-1}{1+e^{-x}}$$
$$=\frac{1}{1+e^{-x}}\cdot \left(\frac{1+e^{-x}}{1+e^{-x}}-\frac{1}{1+e^{-x}}\right)$$
$$=\frac{1}{1+e^{-x}}\cdot \left(1-\frac{1}{1+e^{-x}}\right)$$
$$=\sigma (x)\cdot (1-\sigma (x))$$

复习一下一般求导法则

1. 乘法法则
   $$(f\cdot g{)}^{\prime }=f^{\prime }g+f{g}^{\prime }$$
2. 除法法则
   $${\left(\frac{f}{g}\right)}^{\prime }=\frac{f^{\prime }g-f{g}^{\prime }}{g^2}(g\ne 0)$$
3. 倒数法则
   $${\left(\frac{1}{g}\right)}^{\prime }=\frac{-g^{\prime }}{g^2}(g\ne 0)$$
4. 复合函数求导法则
   $$(f[g(x)]{)}^{\prime }=\frac{df(g)}{dg}\frac{dg}{dx}$$

[1] https://en.wikipedia.org/wiki/Sigmoid_function
[2] https://math.stackexchange.com/questions/78575/derivative-of-sigmoid-function-sigma-x-frac11e-x