激活函数总结（三十七）：激活函数补充(PAU、DELU)

1 引言

在前面的文章中已经介绍了介绍了一系列激活函数 (Sigmoid、Tanh、ReLU、Leaky ReLU、PReLU、Swish、ELU、SELU、GELU、Softmax、Softplus、Mish、Maxout、HardSigmoid、HardTanh、Hardswish、HardShrink、SoftShrink、TanhShrink、RReLU、CELU、ReLU6、GLU、SwiGLU、GTU、Bilinear、ReGLU、GEGLU、Softmin、Softmax2d、Logsoftmax、Identity、LogSigmoid、Bent Identity、Absolute、Bipolar、Bipolar Sigmoid、Sinusoid、Cosine、Arcsinh、Arccosh、Arctanh、LeCun Tanh、TanhExp、Gaussian 、GCU、ASU、SQU、NCU、DSU、SSU、SReLU、BReLU、PELU、Phish、RBF、SQ-RBF、ISRU、ISRLU、SQNL、PLU、APL、Inverse Cubic、Soft Exponential、ParametricLinear、Piecewise Linear Unit、CLL、SquaredReLU、ModReLU、CosReLU、SinReLU、Probit、Smish、Multiquadratic、InvMultiquadratic、PSmish、ESwish、CoLU、ShiftedSoftPlus、Logit、Softsign、ELiSH、Hard ELiSH、Serf、FReLU、QReLU、m-QReLU、FReLU、CReLU、KAF、Siren、ARiA、m-arcsinh)。在这篇文章中，会接着上文提到的众多激活函数继续进行介绍，给大家带来更多不常见的激活函数的介绍。这里放一张激活函数的机理图：

2 激活函数

2.1 Padé激活函数

论文链接：Padé Activation Units: End-to-end Learning of Flexible Activation Functions in Deep Networks

深度网络学习的性能在很大程度上取决于与每个神经元相关的非线性激活函数的选择。但是，决定最佳激活并非易事，选择取决于体系结构、超参数甚至数据集。通常，这些激活是在训练前手动固定的。在这里，我们演示了如何通过使用灵活的参数有理函数来消除对首先选择固定激活函数的依赖。由此产生的Padé激活单元（PAU）既可以近似常见的激活函数，也可以在提供紧凑表示的同时学习新的激活函数。其数学表达式和数学图像分别如下所示：
例如：给定 f(x)，Padé近似值是形式为 m、n 的多项式 P(x)、Q(x) 上的有理函数 F(x)
$$F(x)=\frac{P(x)}{Q(x)}=\frac{{\sum }_{j=0}^m{a}_j{x}^j}{1+{\sum }_{k=1}^n{b}_k{x}^k}$$
下图显示了使用有理函数可以很好地逼近典型的致动函数。

特点：

• Padé激活单元（PAU）既可以近似常见的激活函数，也可以在提供紧凑表示的同时学习新的激活函数。
• PAU为具有可证明鲁棒性的近似铺平了道路

PAU算法在深度学习任务上取得了极好的效果，有需要的人可以进行尝试。。。不过该激活函数应该需要一个较大的服务器来跑算法。。。

2.2 DELU激活函数

论文链接：Trainable Activations for Image Classification

DELU是一种可训练的激活函数。其数学表达式和数学图像分别如下所示：
$$DELU(x)=\{\begin{array}{ll}SiLU(x),& \text{if }x\le 0\\ (n+0.5)x+|e^{-x}-1|,& \text{if }x>0\end{array}$$

优点：

• 可训练：DELU激活函数是可训练的，其参数n是一个可训练参数
• 平滑：这个函数使用了SiLU的左边部分，因此得到了一个位于零左边的缓冲区，这使得您可以从接近零的函数得到一个平滑的输出。右边的部分类似于普通的ReLU，但更加平滑，因为它使用了 $|e^{-x}-1|$。

注意：当前该版本为预印版本，还未出版发表。。。 因此其实际效果有待验证。。

3. 总结

到此，使用 激活函数总结（三十七） 已经介绍完毕了！！！ 如果有什么疑问欢迎在评论区提出，对于共性问题可能会后续添加到文章介绍中。如果存在没有提及的激活函数也可以在评论区提出，后续会对其进行添加！！！！

如果觉得这篇文章对你有用，记得点赞、收藏并分享给你的小伙伴们哦。