常用激活函数

激活函数的基本概念

• 左饱和、右饱和
• 软饱和、硬饱和

常用的激活函数及其优缺点

• tf.sigmoid()
  S(x) = 1 / (1+exp(-x))
  是生物增长模型中的S型曲线。

  • 缺点
    1. 由于其软饱和特性，容易产生梯度消失
    2. 输出不以0为中心
  • 优点
    1. 优化稳定，可以作为输出层

• tf.tanh()
  tanh(x) = (1 - exp(-2x)) / (1 + exp(-2x))
  形状与sigmoid函数相似，均值不同。

  • 缺点
    1. 软饱和性
  • 优点
    1. 输出均值为0

• tf.nn.relu()
  relu(x) = max(0,x)
  x小于0恒等于0，大于0恒等于x。

  • 缺点
    1. 如输入落入硬饱和区，导致部分权重无法更新，导致神经元死亡
  • 优点
    1. 收敛快，运算简单
    2. 缓解梯度消失问题
    3. 左边硬饱和，右边无饱和问题

• 改进Leaky-ReLU
  Leaky-ReLU(x) = x, x>=0
  Leaky-ReLU(x) = ax, x<0
  a是一个很小的常数。

• tf.nn.softplus()
  softplus(x) = log(1 + exp(x))
  softplus函数可以看做ReLU的平滑形式，更加接近脑神经的激活模式。

  • 优点
    1. 计算量小
    2. 不容易出现梯度消失

• tf.nn.softmax()
  softmax(y)i = exp(yi)/sum(exp(yi))
  用于有多个输出的多分类问题。