神经网络相关激活函数

激活函数
神经网络的每个神经元输出都要经过激活函数的处理，并且激活函数都要选择非线性的函数(不是一条直线)
原因也比较简单
如果用线性函数来处理的话(类似f(x)=ax+b),经过多个神经元后，这些处理可以统一合为一个线性处理，也就失去了神经网络的多层的意义了。
都要用激活函数的原因也类似，毕竟神经元内部大多也都是线性处理
这里列举两个非常常用的激活函数

• 1.sigmoid函数
  
  sigmoid函数比较平滑，而且有一点是它没有任何一点的导数真正的等于0，因此不会太担心多次学习它不会带来任何变化，并且它的导数也十分简单，用起来十分称手。

• 2.ReLU函数
  
  ReLU函数是突变的类型，虽然导数同样简单，但是它在x<0时导数为0，可以说阻断了反馈(?)

转载于:https://www.cnblogs.com/LOSKI/p/10741649.html