Activation Function激活函数

Activation Function

定义

• 激活函数是在人工神经网络中常用的数学函数。
• 在神经网络中，输入经过权值加权计算并求和之后，需要经过一个函数的作用，这个函数就是激活函数（Activation Function）。

作用

• 在线性变换后，需要对input进行非线性变换，即引入非线性激活函数
• 对每一层的输出做处理，引入非线性因素，使得神经网络可以逼近任意的非线性函数，进而使得添加了激活函数的神经网络可以应用到众多的非线性模型中，从而在非线性领域继续发挥重要作用

增加非线性，帮助nn学习各种现象，增加神经网络的表达能力，从而提高神经网络的性能

例如：

提高模型鲁棒性、
缓解梯度消失问题、
将特征输入映射到新的特征空间
加速模型收敛

• 如果在神经网络中不引入激活函数，

那么在该网络中，每一层的输出都是上一层输入的线性函数，

无论最终的神经网络有多少层，输出都是输入的线性组合；

其一般也只能应用于线性分类问题中，

例如，<