深度学习-常用激活函数-上篇

Sigmoid激活函数

sigmoid激活函数是最基本的激活函数，取值范围属于[0,1]
具体公式：

优点

• 可以被表示为概率输出，可以作为输入的归一化
• 定义域内处处可导，两侧导数逐渐趋于0（软饱和激活函数）
• 求导简单

缺点

• 输出不以0为中心
• 容易造成梯度消失
• 指数函数计算比较消耗资源

Tanh激活函数

Tanh激活函数也被称为双曲正切激活函数，取值范围属于[-1,1]
具体公式：

优点

• 函数取值以0为中心，属于0均值激活函数，可以将输入数据进行输出中心化
• 收敛速度比Sigmoid激活函数要快

缺点

• 存在梯度消失问题
• 属于指数运算，消耗计算资源

Relu激活函数

Relu激活函数也叫修正线性单元（Rectified Linear Unit）源于论文《ImageNet Classification with Deep Convolutional Neural Networks》，Relu激活函数取值范围属于[0,正无穷]
具体公式：

优点

• 相比较于Sigmoid激活函数和Tanh激活函数，Relu得益于线性属性，收敛速度更快
• 当x大于0的时候，不存在饱和问题，解决了梯度消失的问题
• 提供了神经网络的稀疏表达能力

缺点

• 在负数区间导致神经元失活，反向传播无法更新权重
• 属于非0中心激活函数

Leaky Relu激活函数

Leaky Relu激活函数是想要缓解Relu激活函数当取值范围小于0时候出现的神经元失活问题，取值范围属于[负无穷，正无穷]

具体公式：

如上公式,其中a是一个超参数，取值接近于0，原文献取0.25

优点

• 神经元不会出现失活问题
• 对于所有输入，神经元不会出现饱和现象
• Leaky Relu和Relu激活函数相似，都是线性操作，计算简单，能够
• 相比较Sigmoid和Tanh激活函数，可以加速网络收敛

缺点

• 超参数需要经过人工微调选择

RRelu激活函数

RRelu激活函数也叫随机修正线性单元（Randomized Leaky ReLU），实际上就是Leaky Relu的随机版本，所谓随机就是指Leaky Relu中的超参数不再由人工指定，而是随机从一个高斯分布中得到的值，然后再在测试的过程中修正，在测试阶段把训练过程中所有的取值求平均

具体公式（与Leaky Relu相似）：

优点

• 相比较于Leaky Relu激活函数，RRelu激活函数由于参数随机性，可以看做是对网络训练过程中加入的噪声，起到一定的正则化作用，可以在一定程度上提升模型性能

PRelu激活函数

PRelu激活函数也叫参数化修正线性单元（Parametric Leaky ReLU），实际上就是将Leaky Relu中的超参数不再由人工指定，而是直接由网络学习得到，具体出处来源于论文：《Delving Deep into Rectifiers:Surpassing Human-Level Performance on ImageNet Classification》.

具体公式：

优点

• 相比较于Relu，在增加极少参数量的前提下。可以在一定程度上提升模型性能
• 相比较于Leaky Relu，不用再人工调整超参数

ELU激活函数

ELU激活函数也叫指数线性单元（Exponential Linear Units），也是Relu激活函数的改进版本

具体公式：

优点

• 输出接近0均值状态
• 消除输入小于0状态下神经元失活问题
• 提升模型收敛速度
• 相比较于Relu激活函数，提升模型性能

激活函数-下篇

链接： https://blog.csdn.net/u011058765/article/details/117257606

• SELU激活函数
• Swish激活函数
• Maxout激活函数
• CRelu激活函数
• MPELU激活函数
• Softplus激活函数
• Softsign激活函数
• Mish激活函数
• h-Swish激活函数

公众号-不定期发布相关知识总结：

引用：

https://blog.csdn.net/qq_30815237/article/details/86700680
https://www.cnblogs.com/XDU-Lakers/p/10557496.html
https://zhuanlan.zhihu.com/p/22142013
https://baijiahao.baidu.com/s?id=1653717837863248785&wfr=spider&for=pc
https://blog.csdn.net/liuy9803/article/details/81545664
https://blog.csdn.net/u011684265/article/details/78039280
https://zhuanlan.zhihu.com/p/88429934
https://cloud.tencent.com/developer/article/1399909
https://www.jianshu.com/p/d49905dee072