深度学习基础--loss与激活函数--Relu的变种

Relu的变种

softplus/softrelu

  softplus 是对 ReLU 的平滑逼近的解析函数形式。
  softplus的公式：
  f(x)=ln(1+e^x)

Relu与PRelu

  ai是增加的参数，ai=0；为ReLU，若ai取很小的固定值，则为leaky ReLU，这个激活函数可以修正ReLU频繁出现神经元die的情形，至于哪种更好没有定论。