神经网络常见激活函数求导

神经网络常见激活函数求导推导

    • 1.求导公式
    • 2.sigmoid函数
    • 3.Tanh函数
    • 4.ReLU函数

1.求导公式

神经网络常见激活函数求导_第1张图片

2.sigmoid函数

  • 原函数
    s i g m o i d ( x ) = 1 1 + e − x \begin{align} sigmoid(x) &= \frac{1}{1 +e^{-x}}\notag \end{align} sigmoid(x)=1+ex1
  • 求导过程
    s i g m o i d ′ ( x ) = ( 1 1 + e − x ) ′ = 0 − ( 1 + e − x ) ′ ( 1 + e − x ) 2 = e − x ( 1 + e − x ) 2 = 1 + e − x − 1 ( 1 + e − x ) ( 1 + e − x ) = 1 + e − x − 1 ( 1 + e − x ) . 1 ( 1 + e − x ) = 1 − 1 ( 1 + e − x ) . 1 ( 1 + e − x ) = 1 − s i g m o i d 2 ( x ) \begin{align} sigmoid'(x) &= (\frac{1}{1 +e^{-x}})'\notag \\&=\frac{0-(1 +e^{-x})'}{(1 +e^{-x})^2}\notag \\&=\frac{e^{-x}}{(1 +e^{-x})^2}\notag \\&=\frac{1+e^{-x}-1}{(1 +e^{-x})(1 +e^{-x})}\notag \\&=\frac{1+e^{-x}-1}{(1 +e^{-x})}.\frac{1}{(1 +e^{-x})}\notag \\&=1-\frac{1}{(1 +e^{-x})}.\frac{1}{(1 +e^{-x})}\notag \\&=1-sigmoid^2(x)\notag \end{align} sigmoid(x)=(1+ex1)=(1+ex)20(1+ex)=(1+ex)2ex=(1+ex)(1+ex)1+ex1=(1+ex)1+ex1.(1+ex)1=1(1+ex)1.(1+ex)1=1sigmoid2(x)

3.Tanh函数

  • 原函数
    T a n h ( x ) = e x − e − x e x + e − x \begin{align} Tanh(x) &=\frac{e^x-e^{-x}}{e^x+e^{-x}}\notag \end{align} Tanh(x)=ex+exexex
  • 求导过程
    T a n h ′ ( x ) = e x − e − x e x + e − x ) ′ = ( e x − e − x ) ′ ( e x + e − x ) − ( e x − e − x ) ( e x + e − x ) ′ ( e x + e − x ) 2 = ( e x + e − x ) ( e x + e − x ) − ( e x − e − x ) ( e x − e − x ) ( e x + e − x ) 2 = ( e x + e − x ) 2 − ( e x − e − x ) 2 ( e x + e − x ) 2 = 1 − ( e x − e − x ) 2 ( e x + e − x ) 2 = 1 − ( e x − e − x e x + e − x ) 2 = 1 − T a n h 2 ( x ) \begin{align} Tanh'(x) &=\frac{e^x-e^{-x}}{e^x+e^{-x}})'\notag \\&=\frac{(e^x-e^{-x})'(e^x+e^{-x})-(e^x-e^{-x})(e^x+e^{-x})'}{(e^x+e^{-x})^2}\notag \\&=\frac{(e^x+e^{-x})(e^x+e^{-x})-(e^x-e^{-x})(e^x-e^{-x})}{(e^x+e^{-x})^2}\notag \\&=\frac{(e^x+e^{-x})^2-(e^x-e^{-x})^2}{(e^x+e^{-x})^2}\notag \\&=1-\frac{(e^x-e^{-x})^2}{(e^x+e^{-x})^2}\notag \\&=1-(\frac{e^x-e^{-x}}{e^x+e^{-x}})^2\notag \\&=1-Tanh^2(x)\notag \end{align} Tanh(x)=ex+exexex)=(ex+ex)2(exex)(ex+ex)(exex)(ex+ex)=(ex+ex)2(ex+ex)(ex+ex)(exex)(exex)=(ex+ex)2(ex+ex)2(exex)2=1(ex+ex)2(exex)2=1(ex+exexex)2=1Tanh2(x)

4.ReLU函数

  • 原函数
    R e l u ( x ) = { x x ≥ 0 0 x < 0 \begin{align} Relu(x)=\begin{cases} x & x\geq0 \\ 0 & x <0 \end{cases}\notag \end{align} Relu(x={x0x0x<0
  • 求导
    R e l u ′ ( x ) = { 1 x ≥ 0 0 x < 0 Relu'(x) =\begin{cases} 1 & x\geq0 \\ 0 & x <0 \end{cases} Relu(x)={10x0x<0

你可能感兴趣的:(机器学习笔记,神经网络,python,人工智能,激活函数求导)