GELU激活函数

GELU是一种常见的激活函数，全称为“Gaussian Error Linear Unit”，其图像与ReLU、ELU对比如下：

文章链接：https://arxiv.org/pdf/1606.08415.pdf
https://pytorch.org/docs/master/generated/torch.nn.GELU.html

公式为：$GELU(x)=x\ast \Phi (x)$
其中$\Phi (x)$表示高斯分布的累积概率分布，即在(-∞,x]区间对高斯分布的定积分。
我们可以看一下$\Phi (x)$的函数图像：

一般常见的是均值为0，方差为1的版本。如红色曲线所示。

当方差为无穷大，均值为0的时候，GeLU就等价于ReLU了。GELU可以当作为RELU的一种平滑策略。