神经网络反向传播(2)--激活函数求导汇总

神经网络中常用的激活函数主要有tanh、sigmoid、softmax、Relu等,在反向传播过程中的链式求导时,我们也需要对激活函数进行求导,在此整理常用的激活函数导数推导后的结果,方便在神经网络反向传播计算时使用。(注:无推导过程)

tanh函数

函数表达式为

f(x)=\frac{e^x-e^{-x}}{e^x+e^{-x}}

求导后导数表达式为

f^{'}(x)=1-tanh(x)^2

sigmoid函数

函数表达式为

f(x)=\frac{1}{1+e^{-x}}

求导后导数表达式为

f^{'}(x)=f(x)*(1-f(x))

softmax函数

函数表达式为

S_i=\frac{e^i}{\sum _je^j}

求导后导数表达式为

S^{'}_j=\left\{ \begin{aligned} S_j*(1-S_j), i=j \\ -S_j*S_i, {i}\neq{j}\\ \end{aligned} \right.

ReLU函数

函数表达式为

f(x)=\left\{ \begin{aligned} 0 , {x}\leq{0} \\ x,{x}\geq{0}\\ \end{aligned} \right.

求导后导数表达式为

f^{'}(x)=\left\{ \begin{aligned} 0 , {x}\leq{0} \\ 1,{x}\geq{0}\\ \end{aligned} \right.

以上为常用的四种激活函数的求导通式,可以方便大家在反向传播计算时使用。

你可能感兴趣的:(神经网络反向传播,神经网络,深度学习)