sigmoid的近似处理计算

sigmoid是神经网络中常用的激活函数,其定义为：

$\sigma (x)=\frac{1}{1+e^{-x}}$
该函数的定义域为$(-\infty ,+\infty )$，值域为(0,1)，图一给出sigmoid函数的图像

且sigmoid的导函数还有如下的形式，所以在求对数求导是十分方便计算

${\sigma }^{{}^{\prime }}(x)=\sigma (x)[1-\sigma (x)]$
可知l$log\sigma (x)和log(1-\sigma (x))的导函数分别为$：
$[log\sigma (x){]}^{{}^{\prime }}=1-\sigma (x),[log(1-\sigma (x)]{)}^{{}^{\prime }}=-\sigma (x)$

事实上，作为激活函数，在计算时，我们不用x取什么值就直接带进去，这会增大我们的计算量。

采用近似公式我们就可以减少计算量，提高计算效率