【深度学习技术】卷积神经网络常用激活函数总结

本文记录了神经网络中激活函数的学习过程,欢迎学习交流。

神经网络中如果不加入激活函数,其一定程度可以看成线性表达,最后的表达能力不好,如果加入一些非线性的激活函数,整个网络中就引入了非线性部分,增加了网络的表达能力。目前比较流行的激活函数主要分为以下7种:

【深度学习技术】卷积神经网络常用激活函数总结_第1张图片

1.sigmoid

【深度学习技术】卷积神经网络常用激活函数总结_第2张图片

【深度学习技术】卷积神经网络常用激活函数总结_第3张图片

2.tanh

【深度学习技术】卷积神经网络常用激活函数总结_第4张图片

3.ReLu

【深度学习技术】卷积神经网络常用激活函数总结_第5张图片

4.Leaky ReLu

【深度学习技术】卷积神经网络常用激活函数总结_第6张图片

5.PReLu

【深度学习技术】卷积神经网络常用激活函数总结_第7张图片

6.RReLu

【深度学习技术】卷积神经网络常用激活函数总结_第8张图片

7 Maxout

【深度学习技术】卷积神经网络常用激活函数总结_第9张图片

8 SELU

总结

是ELU的改进版本,

参考文献:
[ReLu]:Rectifier Nonlinearities Improve Neural Network Acoustic Models
[PRelu]:Delving Deep into Rectifiers:Surpassing Human-Level Performance on ImageNet Classification

你可能感兴趣的:(Deep,Learning)