在神经网络中常用的激活函数

一、sigmiod激活函数

激活函数公式：

画图代码:
https://github.com/HuangxinYu359/project/blob/master/nn/numpy%E6%A8%A1%E6%8B%9F%E7%A5%9E%E7%BB%8F%E7%BD%91%E7%BB%9C/sigmiod.py
特点：
1.输入结果为连续实值，值域为（0，1）；
2.负无穷的结果为0，正无穷结果为1
缺点：
可能会产生梯度消失，小概率产生梯度爆炸。

二、tanh激活函数

激活函数公式：

画图代码：
https://github.com/HuangxinYu359/project/blob/master/nn/numpy%E6%A8%A1%E6%8B%9F%E7%A5%9E%E7%BB%8F%E7%BD%91%E7%BB%9C/tanh.py
特点：
1.定义域：R ，值域为（-1，1）
2.与sigmiod函数相似
对比sigmiod函数：
1.tanh激活函数均值为0，而sigmiod函数均为不为0，意味着自带了一个bias，相比tanh激活函数，sigmiod激活函数会让收敛变慢
2.tanh在原点的导数大于sigmiod在原点的导数，tanh相比于Sigmoid函数更容易训练，具有优越性

Relu激活函数（目前相对来讲在深度学习中运用较广）

激活函数公式：

代码画图：https://github.com/HuangxinYu359/project/blob/master/nn/numpy%E6%A8%A1%E6%8B%9F%E7%A5%9E%E7%BB%8F%E7%BD%91%E7%BB%9C/ReLU.py
特点：
1.单侧抑制，Relu实现稀疏后的模型能够更好的挖掘相关特征；
2.对于线性函数，Relu的表达能力更强，尤其在深度学习中；
3.不存在梯度消失的问题，收敛速度也相对稳定