Machine Learning 常用激活函数

1.Sigmoid 函数

$$ Sigmoid(x)=\frac{1}{1+e^{-x}} $$

Machine Learning 常用激活函数_第1张图片

$$ Sigmoid\,'(x)=\frac{e^{-x}}{({1+e^{-x})}^{2}} $$

Machine Learning 常用激活函数_第2张图片

2.ReLU函数

$$ ReLU(x)=max(x,0) $$

$$\newline $$ ReLU\,'(x)=1\qquad when \quad x\neq 0 $$ \newline $$ ReLU\,'(x)=0\qquad when \quad x = 0 $$

3.PReLU函数

$$\newline $$ PReLU(x_i)=x_i\qquad when \quad x_i>0 $$ \newline $$ PReLU(x_i)=a_ix_i\qquad when \quad x_i \leq 0 $$

                                            ReLU                                                                                     PReLU

Machine Learning 常用激活函数_第3张图片

                         

注意:

 $x_i$ 是指由每个上层神经元加权计算的到的值

 $a_i$ 是受PReLU作用的每一个神经元的参数,并参与BP时的修改。

Reference:https://arxiv.org/pdf/1502.01852.pdf

你可能感兴趣的:(>人工智能自学<)