激活函数总结（三十六）：激活函数补充(ARiA、m-arcsinh)

1 引言

在前面的文章中已经介绍了介绍了一系列激活函数 (Sigmoid、Tanh、ReLU、Leaky ReLU、PReLU、Swish、ELU、SELU、GELU、Softmax、Softplus、Mish、Maxout、HardSigmoid、HardTanh、Hardswish、HardShrink、SoftShrink、TanhShrink、RReLU、CELU、ReLU6、GLU、SwiGLU、GTU、Bilinear、ReGLU、GEGLU、Softmin、Softmax2d、Logsoftmax、Identity、LogSigmoid、Bent Identity、Absolute、Bipolar、Bipolar Sigmoid、Sinusoid、Cosine、Arcsinh、Arccosh、Arctanh、LeCun Tanh、TanhExp、Gaussian 、GCU、ASU、SQU、NCU、DSU、SSU、SReLU、BReLU、PELU、Phish、RBF、SQ-RBF、ISRU、ISRLU、SQNL、PLU、APL、Inverse Cubic、Soft Exponential、ParametricLinear、Piecewise Linear Unit、CLL、SquaredReLU、ModReLU、CosReLU、SinReLU、Probit、Smish、Multiquadratic、InvMultiquadratic、PSmish、ESwish、CoLU、ShiftedSoftPlus、Logit、Softsign、ELiSH、Hard ELiSH、Serf、FReLU、QReLU、m-QReLU、FReLU、CReLU、KAF、Siren)。在这篇文章中，会接着上文提到的众多激活函数继续进行介绍，给大家带来更多不常见的激活函数的介绍。这里放一张激活函数的机理图：

2 激活函数

2.1 ARiA激活函数

论文链接：ARiA: Utilizing Richard’s Curve for Controlling the Non-monotonicity of the Activation Function in Deep Neural Nets

Adaptive Richard’s Curve weighted Activation (ARiA) 激活函数是非单调的，类似于新引入的Swish，但是允许通过改变超参数来精确控制其非单调凸性。其数学表达式和数学图像分别如下所示：
$$\begin{gathered} ARiA(x)=x\ast \sigma (\alpha ,\beta ,x) \\ \alpha =\frac{1}{v},\beta =B \\ \sigma (L)=f(x,A,K,B,v,Q,C)=A+\frac{K-A}{(C+Q{e}^{-Bx}{)}^{\frac{1}{v}}} \end{gathered}$$

其中，A 为下渐近线；K 为上渐近线；B 为指数增长率；ν > 0决定增长方向，而 Q 与函数 σ(L) 的初始值有关，C 是一个常数，通常选为 1。注意：不同的参数变化所引起的图像的变化是不同的，具体变化可以去论文中查看。

该函数很少使用，也鲜有介绍。这里对其进行简单总结：可以通过调节众多参数来达到一个特别好的效果，但是由于参数众多会存在较难调节的情况。。。。

2.2 modified arcsinh激活函数

论文链接：m-arcsinh: An Efficient and Reliable Function for SVM and MLP in scikit-learn

线性核函数适用于SVM，tanh函数适用于MLP。尽管如此，在 MLP 中，线性内核并不适合在非线性可分离数据中适当地利用梯度下降训练，但对于 SVM 来说，tanh 函数具有扩展的西格玛行为范围，可在此类数据中可靠地最大化边距宽度。因此，通过利用适合 MLP 的反双曲正弦函数（“arcsinh”）的双曲线性质与适合 SVM 的平方根函数的轻微非线性特性之间的加权交互效应，设计出了一种同时适合 SVM 和 MLP 的新函数。由于 "arcsinh "的权重较高 (1/3)，而平方根函数的权重稍低 (1/4)，因此可以同时满足上述要求 1) 和 2)，修改后的 (m-arcsinh）的数学表达式和数学图像分别如下所示：
$$f(x)=arcsinh(x)\ast \frac{1}{12}\ast \sqrt{|x|}$$

实验结果表明：与SVM中的核函数和MLP的激活函数相比，m-arcsinh具有很好的效果。但是，没有在实际数据集中得到有效验证。。。。同时，根据该函数的性质，在深度学习中很少会得到应用。。。

3. 总结

到此，使用 激活函数总结（三十六） 已经介绍完毕了！！！ 如果有什么疑问欢迎在评论区提出，对于共性问题可能会后续添加到文章介绍中。如果存在没有提及的激活函数也可以在评论区提出，后续会对其进行添加！！！！

如果觉得这篇文章对你有用，记得点赞、收藏并分享给你的小伙伴们哦。