机器学习中常用的激励函数

神经网络中的激励函数为神经元提供了规模化的非线性化能力。常见的激励函数包括sigmoid函数,tanh函数和ReLU函数。

sigmoid函数

sigmoid函数一般是大家接触机器学习模型时最早学习到的激励函数模型。它的优点是整个区间都可导。


image.png

机器学习中常用的激励函数_第1张图片
image.png

tanh函数

sigmoid函数的缺点是它不关于原点对称。我们对sigmoid函数进行平移,使其中心对称,得到tahn函数,其表现比sigmoid函数更好。


image.png

机器学习中常用的激励函数_第2张图片
image.png

ReLU函数

tanh函数与sigmoid函数共同的缺点: 当它们倾向于比较大或者比较小的数的时候,整个函数的变化比较平缓,会影响到网络的学习效率。所以在实际工作中用得更多的是ReLU函数


image.png
机器学习中常用的激励函数_第3张图片
image.png

你可能感兴趣的:(机器学习中常用的激励函数)