深度学习激活函数

在神经网络中，常用的激活函数（activation function）有以下几种：

1、sigmoid函数

2、双曲正切函数 tanh()

3、修正线性函数 rectified linear function

f(x)=max(0,x)
它的特点是被认为是more biologically plausible than widely used logistic sigmoid or hyperbolic tangent（双曲正切 tanh）,就是说更加符合神经元信号激励原理。采用了rectified linear function作为activation function的unit被称为rectified linear unit。它的一个平滑解析函数为f(x)=ln(1+ex)，被称之为softplus function，softplus的微分就是logistic function。

4、softmax函数

应用于softmax regression中