神经网络激励函数综合

  神经网络的激励函数用来将神经元的激活水平转化为输出信号。毕竟函数的作用就是实现一种空间的转化。在神经网络中讲输出值压缩到一个有限的范围内。在这里主要介绍 Relu函数及其变体，sigmod函数（S型函数），双曲正切函数，双极性S函数，径向基函数以及one-side hyperbolic ratio function。

部分资料参考wikipedia。

1.ReLu 函数

全称是rectified linear unit,它被广泛应用到了卷积神经网络中，并且出现了一些变体。

函数基本形式是：f(x) = max(0,x), smooth approxiation形式为：

函数的样子所示：

两种变体是：

noisy Relu

也就是在原来的Relu分类部分添加均值为0，方差为sigma的高斯噪声

leaky Relu

这个leaky ReLu的好处是当神经元处于非激活状态是，允许一个非0的梯度存在。

2、单极性 sigmod函数，

图形为：

3、双极性sigma函数，

图形为：

4、双曲正切函数，

图形为：

5、径向基函数，

，g表示的就是径向基函数，绝对值表达的是径向距离。

图形为：

6、one-side hyperbolic ratio function，

图形为：