ReLU激活函数的非线性性质

ReLU激活函数的非线性性质

本文节选自学习笔记（四），单独探讨ReLU激活函数的非线性性，并进行数学说明。

非线性激活函数：同一般的神经网络相同，采用非线性激活函数能够使网络全过程训练摆脱单一的线性关系，让feature map获得的特征更加符合现实。在大部分CNN网络架构当中，采用ReLU函数作为激活函数，ReLU函数表示如下：
$$ReLU=\{\begin{array}{ll}x,& \text{if x > 0}\\ 0,& \text{if x ≤ 0}\end{array}$$

1. ReLU以0为阈值，能够使feature map当中更多的数值为0，使其变得稀疏，能够一定程度上防止过拟合，有利于特征提取。
2. ReLU函数同sigmoid、tanh函数相比求导更加简单。由函数图形看，可能在0点的时候函数是不可导的，在实际应用当中，对零点导数的取值同左侧一致，即为0。这样的梯度取值同样能够避免梯度消失和梯度爆炸问题的出现。
3. 可能有些读者会认为，ReLU在大于0的部分和小于0的部分不是线性的嘛，为什么说ReLU函数是非线性激活函数呢？考虑一层feature map 当中3*3九个元素a1~a9，每一个ai有:
   $$a_i=w^T{x}_i+b$$
   w为卷积核的参数，b为偏置，xi为上一层的输入参数（9个）。对于每一组（w，b），他们都确定了一个超平面，且a1~a9这九个点均在这一个超平面上（因为卷积核参数不变）。那么当经过ReLU激活函数之后，结果如下：
   $$ReLU(a_i)=\{\begin{array}{ll}{w}^T{x}_i+b& \text{if wTxi+b > 0}\\ 0,& \text{if wTxi+b ≤ 0}\end{array}$$
   从上式我们可以很清晰得看到，经过ReLU之后，这个超平面被分成了两部分，其中一部分是原来平面的折叠。三维空间当中，这样折叠效果如下图所示（原图片源自互联网）：
   可以想象得到，当经过若干层卷积操作和ReLU激活之后，高维空间会被超平面一步一步得划分下去（每一个卷积核都可以代表不同的超平面），从而能够拟合出任意函数在高维空间中划分出来的空间。因此，ReLU函数实际上是一个非线性激活函数，当然这种非线性程度和卷积层、ReLU的层数密不可分。

总结

当我们从函数是对空间进行划分来看待ReLU的时候，这个问题就显得直观很多了。将非线性理解为任意拟合，也就是一个具有非线性性质的函数可以表征任意的关系，这就像是多项式函数可以去拟合任意一个连续函数一样。当我们从空间划分的角度来进行思考，我们就可以认为一个函数是对空间归属的一个划分规则，如果经过若干同类型操作的复合之后能够拟合出任意一种空间，则这个操作必然是具有非线性性质的。就如上述例子当中描述的这样，一次ReLU是对空间超平面的一次折叠，那么经过很多次这样的折叠，平面必然可以近似拟合为任意的曲面。因此我们可以说，ReLU是非线性激活函数。