选用Relu 替代tanh 与sigmoid 的原因

为什么要引入激活函数?

如果不用激活函数(其实相当于激励函数是f(x)=x),在这种情况下你每一层输出都是上层输入的线性函数,很容易验证,无论你神经网络有多少层,输出都是输入的线性组合,与没有隐藏层效果相当,这种情况就是最原始的感知机了。

正因为上面的原因,我们决定引入非线性函数作为激励函数,这样深层神经网络就有意义了(不再是是输入的线性组合,可以逼近任意函数)。最早的想法是sigmoid函数或者tanh函数,输出有界,很容易充当下一层输入。激活函数的作用是为了增加神经网络模型的非线性。否则你想想,没有激活函数的每层都相当于矩阵相乘,就算你叠加了若干曾之后,无非还是个矩阵相乘罢了。所以你没有非线性结构的话,根本就算不上什么神经网络。

函数分析

image

它能够把输入的连续实值“压缩”到0和1之间,特别的,如果是非常大的负数,那么输出就是0;如果是非常大的正数,输出就是1.

signoid函数曾经被使用的很多,不过近年来,用它的人越来越少了。主要是因为他的一些缺点:

当输入非常大或者非常小的时候,这些神经元的梯度是接近于0的,从图中可以看出梯度的趋势;

sigmoid的输出不是0均值,这回导致后一层的神经元将得到上一层输出的非0均值信号将作为输入(为什么不能是非0均值的???)

Tanh是Sigmoid的变形,与sigmoid不同的是,tanh是0均值的,因此,实际应用中,tanh会比sigmoid更好。

ReLU函数

image

从图中可以看出,输入负信号时,输出都是0,非负的情况下,输出就等于输入。

解决了gradient vanishing问题(在正区间)

计算速度非常快,只需要判断输入是否大于0

收敛速度远快于sigmoid和tanh

ReLU需要特别注意的问题:

1、ReLU的输出不是0均值的

2、Dead ReLU Problem,指的是某些神经元可能永远不会被激活,导致相应的参数永远不能被更新。有两个主要原因可能导致这种情况产生:(1)非常不幸的参数初始化,这种情况比较少见(2)learning rate太高导致在训练过程中参数更新太大,不幸使网络进入这种状态。解决方法是可以采用Xavier初始化方法,以及避免learning rate设置他打或者使用adagrad等自动调节learning rate的算法

为什么会引入Relu呢?

第一,采用Sigmoid等函数,算激活函数时(指数运算),计算量大,反向传播求误差梯度时,求导涉及除法,计算量相对大,而采用Relu激活函数,整个过程的计算量节省很多。

第二:对于深层网络,sigmoid函数反向传播时,很容易就会出现梯度消失的情况(在sigmoid接近饱和区时,变换太缓慢,导致趋于0,这种情况会造成信息丢失,从而无法完成深层网络的训练)

第三:ReLU会使一部分神经元的输出为0,这样就造成了网络的稀疏性,并且减少了参数的相互依存关系,缓解了过拟合问题的发生。

对Relu 改进

当然现在也有一些对ReLU的改进,比如prelu。random relu等,在不同的数据集上会有一些训练速度上或者准确率上的改进

现在主流的做法,会多做一些batch normalization,尽可能保证每一层网络的输入具有相同的分布。而最新的论文中,有加入bypass connection之后,发现改变batch normalization的位置会有更好的效果。

深度学习的基本原理是基于人工神经网络,信号从一个神经元进入,经过非线性的activation function,传入到下一层神经元;再经过该层神经元的activate,继续往下传递,如此循环往复,直到输出层。正是由于这些非线性函数的反复叠加,才使得神经网络有足够的capacity来抓取复杂的pattern,在各个领域取得state-of-the-art的结果。显而易见,activation function在深度学习中非常重要,也是很活跃的研究领域之一。

你可能感兴趣的:(选用Relu 替代tanh 与sigmoid 的原因)