基础神经网络“组件”----激励函数

深度学习常见激励函数总结

1. 参考文献：https://blog.csdn.net/xierhacker/article/details/71524713

2. sigmoid

优点：简单,良好的非线性映射,但是也有致命的问题,就是梯度消失.所以现代的神经网络架构很少用他了。

tf.nn.softmax(logits, dim=-1, name=None)

作用：计算softmax 激活值 
参数: 
logits: 非空的tensor，类型必须为half, float32, float64. 
dim: softmax作用的维度，默认是-1，表示最后一个维度 
name: 【可选】这个操作的名字 
返回值: 
返回一个tensor，和logits有相同的类型和形状

3. tanh

20170510143539313.png

4. ReLU

   修正线性单元：

20170510143729520.png

线性修正单元应当是现在用的最广的激活函数了。

修正线性单元(Rectified linear unit) 。

tf.nn.relu(features, name=None)
作用： 
计算修正线性单元(非常常用)：max(features, 0).并且返回和feature一样的形状的tensor。

参数： 
features: tensor类型，必须是这些类型：A Tensor. float32, float64, int32, int64, uint8, int16, int8, uint16, half. 
name: ：操作名称（可选）

5. LReLU，PReLU，RReLU

   这三个都是对于ReLU的改进,三个的函数的写法可以近似的认为是一样的.细节上有一些差别

6. ELU

   Exponential Linear Units的缩写,函数形式为 ：

20170510144010898.png

7. softplus

20170510151302459.png

8. over