激活函数总结（三十八）：激活函数补充(PDELU、CosLU)

1 引言

在前面的文章中已经介绍了介绍了一系列激活函数 (Sigmoid、Tanh、ReLU、Leaky ReLU、PReLU、Swish、ELU、SELU、GELU、Softmax、Softplus、Mish、Maxout、HardSigmoid、HardTanh、Hardswish、HardShrink、SoftShrink、TanhShrink、RReLU、CELU、ReLU6、GLU、SwiGLU、GTU、Bilinear、ReGLU、GEGLU、Softmin、Softmax2d、Logsoftmax、Identity、LogSigmoid、Bent Identity、Absolute、Bipolar、Bipolar Sigmoid、Sinusoid、Cosine、Arcsinh、Arccosh、Arctanh、LeCun Tanh、TanhExp、Gaussian 、GCU、ASU、SQU、NCU、DSU、SSU、SReLU、BReLU、PELU、Phish、RBF、SQ-RBF、ISRU、ISRLU、SQNL、PLU、APL、Inverse Cubic、Soft Exponential、ParametricLinear、Piecewise Linear Unit、CLL、SquaredReLU、ModReLU、CosReLU、SinReLU、Probit、Smish、Multiquadratic、InvMultiquadratic、PSmish、ESwish、CoLU、ShiftedSoftPlus、Logit、Softsign、ELiSH、Hard ELiSH、Serf、FReLU、QReLU、m-QReLU、FReLU、CReLU、KAF、Siren、ARiA、m-arcsinh、PAU、DELU)。在这篇文章中，会接着上文提到的众多激活函数继续进行介绍，给大家带来更多不常见的激活函数的介绍。这里放一张激活函数的机理图：

2 激活函数

2.1 PDELU 激活函数

论文链接：Parametric Deformable Exponential Linear Units for deep neural networks
PDELU称为一种参数可变的指数线性单元，并从理论上验证了它对提高学习过程的收敛速度是有效的。通过灵活的映射形状，所提出的PDELU可以将激活响应的平均值推向接近于0的水平，从而保证深度神经网络训练时下降最为迅速。其数学表达式和数学图像分别如下所示：
$$PDELU(x)=\{\begin{array}{ll}x,& \text{if }x>0\\ \alpha ([1+(1-t)x{]}^{\frac{1}{1-t}}-1),& \text{if }x\le 0\end{array}$$

参数介绍：

• 参数 $\alpha$ 由损失函数共同学习。不同的通道具有不同的 $\alpha$ 值，使得神经网络在学习最优权值时具有更大的灵活性。
• 参数 $t$ 是控制变形程度的，可指定为找到最佳变形指数函数。当 $0<t<1$ 时，负区域上指数衰减到0的速度比ELU衰减的更快。

特点：

• PDELU较为灵活。参数 $t$ 控制着曲线的形状。随着 $t$ 的增大，负半轴的响应变得更大、更平坦，当 $t=1$ 时，PDELU与原ELU完全相同。
• PDELU定义了一个灵活的学习激活函数，具有可调参数 $\alpha$。自适应激活函数可以有效地避免过拟合，充分利用深度和广度架构的强大学习能力。
• 在相关文献的的试验中表明PDELU的训练时间较长，而在不同分类模型中，不同激活函数的性能比较，PDELU在GoogleNet的性能最好，其它模型表现一般。

PDELU虽然在一定情况下具有不错的效果，但是其模型普遍性较差。。。。使用的时候需要注意。。。

2.2 CosLU激活函数

论文链接：Trainable Activations for Image Classification

Cosine Linear Unit (CosLU) 是一种具有可训练参数并使用余弦函数的激活函数。其数学表达式和数学图像分别如下所示：
$$CosLU(x)=(x+\alpha \cos (\beta x))\sigma (x)$$

其中，$\sigma (x)$ 表示 Sigmoid 激活函数，且 $\alpha$ 和 $\beta$ 都是可训练的参数。参数 $\alpha$ 控制余弦振幅，从而确定余弦对整个激活函数的影响，参数 $\beta$ 控制余弦频率。

CosLU 只是在这篇论文中提出，没有得到广泛使用。。。使用的时候需要注意！！！

3. 总结

到此，使用 激活函数总结（三十八） 已经介绍完毕了！！！ 如果有什么疑问欢迎在评论区提出，对于共性问题可能会后续添加到文章介绍中。如果存在没有提及的激活函数也可以在评论区提出，后续会对其进行添加！！！！

如果觉得这篇文章对你有用，记得点赞、收藏并分享给你的小伙伴们哦。