常见激活函数总结（持续更新）

定义和作用

定义

激活函数（(Activation functions）就是人工神经网络中的非线性函数，目的是为了给神经网络引入非线性层。

作用

如不使用激活函数仅有感知机层的神经网络，无论多少层都可以简化为一个线性映射，其等价于逻辑回归模型（Logistic Regression, LR）。正是神经网络结构中的非线性层和线性映射的复杂组合赋予了其强大的拟合能力。

常见激活函数

分类

目前对激活函数的分类主要是基于其“饱和性”，如何理解这个饱和性呢？即x值在趋向于正/负无穷时其导数是否趋近于0。

激活函数类型	特点	常见函数
饱和	优点 一般处处可微，平滑易于求导。 缺点 会出现“梯度消失”问题 收敛速度相对较慢	sigmoid、tanh
非饱和	优点 解决“梯度消失”问题 加快收敛速度 缺点 会出现“梯度爆炸”问题	ReLU、Leaky RelU、gelu、

公式及图形

待补充。。。（更新于20221122）