激活函数

——激活函数是为了增加整个网络的非线性能力(如果只能表达线性映射,即使有再多的隐藏层,整个网络和单层神经网络也是等价的),即表达能力和抽象能力,接在Batch-normalisation之后,即输入(-1,1)。激活函数应保证可微性、单调性。激活函数输出值有限时,基于梯度的优化方法更加稳定,输出无限的时候,模型的训练更加高效。

Sigmoid

tanh

Relu

Relu6

Leaky Rely

参数化Relu

随机化Relu

ELU

深度学习: 激活函数 (Activation Functions) - Online Note - CSDN博客

你可能感兴趣的:(激活函数)