3.8 激活函数的导数-深度学习-Stanford吴恩达教授

---

←上一篇	↓↑	下一篇→
3.7 为什么需要非线性激活函数	回到目录	3.9 神经网络的梯度下降法

---

激活函数的导数 (Derivatives of Activation Functions)

在神经网络中使用反向传播的时候，你真的需要计算激活函数的斜率或者导数。针对以下四种激活，求其导数如下：

1）sigmoid activation function

图3.8.1

其具体的求导如下： 公式3.25：$\frac{d}{dz}g(z)=\frac{1}{1+e^{-z}}(1-\frac{1}{1+e^{-z}})=g(z)(1-g(z))$

注：
当 $z=10$ 或 $z=-10;\frac{d}{dz}g(z)\approx 0$
当 $z=0,\frac{d}{dz}g(z)=g(z)(1-g(z))=\frac{1}{4}$
在神经网络中$a=g(z);g(z{)}^{{}^{\prime }}=\frac{d}{dz}g(z)=a(1-a)$

2）Tanh activation function

图3.8.2

其具体的求导如下： 公式3.26：$g(z)=tanh(z)=\frac{e^z-e^{-z}}{e^z+e^{-z}}$
公式3.27： $\frac{d}{dz}g(z)=1-(tanh(z){)}^2$

注：
当 $z=10$ 或 $z=-10,\frac{d}{dz}g(z)\approx 0$
当 $=0,\frac{d}{dz}g(z)=1-(0)=1$
在神经网络中;

3）Rectified Linear Unit (ReLU)

注：通常在 $z=0$ 的时候给定其导数1,0；当然 $z=0$ 的情况很少

4）Leaky linear unit (Leaky ReLU)

与ReLU类似

$$\begin{gathered} g(z)=max(0.01z,z) \\ g(z{)}^{{}^{\prime }}=\{\begin{array}{cc}0.01& ifz<0\\ 1& ifz>0\\ undefined& ifz=0\end{array} \end{gathered}$$

注：通常在 $z=0$ 的时候给定其导数1,0.01；当然 $z=0$ 的情况很少。

课程PPT

---

←上一篇	↓↑	下一篇→
3.7 为什么需要非线性激活函数	回到目录	3.9 神经网络的梯度下降法

---