激活函数

如果没有激活函数，神经网络只能做线性变换，激活函数可以引入非线形因素。

概念：神经网络中的每个神经元节点接受上一层神经元的输出值作为本神经元的输入值，并将输入值传递给下一层，输入层神经元节点会将输入属性值直接传递给下一层（隐层或输出层）。

如下图：单层神经元做好线形变换之后，经过非线性激励函数对线性结果～进行变换，得到非线性的输出结果

拓展成多层神经网络，和上图的结构一样，加上非线性激励函数，就变成复杂的非线性激励函数。如下图：

总结： 加入非线性激励函数后，神经网络就有可能学习到平滑的曲线来分割平面，而不是用复杂的线性组合逼近平滑曲线来分割平面，使神经网络的表示能力更强了，能够更好的拟合目标函数。 这就是为什么我们要有非线性的激活函数的原因。如下图所示说明加入非线性激活函数后的差异，上图为用线性组合逼近平滑曲线来分割平面，下图为平滑的曲线来分割平面