激活函数总结（四十四）：激活函数补充(NLSIG、EvoNorms)

1 引言

在前面的文章中已经介绍了介绍了一系列激活函数 (Sigmoid、Tanh、ReLU、Leaky ReLU、PReLU、Swish、ELU、SELU、GELU、Softmax、Softplus、Mish、Maxout、HardSigmoid、HardTanh、Hardswish、HardShrink、SoftShrink、TanhShrink、RReLU、CELU、ReLU6、Threshold、Sinc、GLU、SwiGLU、GTU、Bilinear、ReGLU、GEGLU、Softmin、Softmax2d、Logsoftmax、Identity、LogSigmoid、Bent Identity、Absolute、Bipolar、Bipolar Sigmoid、Sinusoid、Cosine、Arcsinh、Arccosh、Arctanh、LeCun Tanh、TanhExp、Gaussian 、GCU、ASU、SQU、NCU、DSU、SSU、SReLU、BReLU、PELU、Phish、RBF、SQ-RBF、ISRU、ISRLU、SQNL、PLU、APL、Inverse Cubic、Soft Exponential、ParametricLinear、Piecewise Linear Unit、CLL、SquaredReLU、ModReLU、CosReLU、SinReLU、Probit、Smish、Multiquadratic、InvMultiquadratic、PSmish、ESwish、CoLU、ShiftedSoftPlus、Logit、Softsign、ELiSH、Hard ELiSH、Serf、FReLU、QReLU、m-QReLU、FReLU、CReLU、KAF、Siren、ARiA、m-arcsinh、PAU、DELU、PDELU、CosLU、NFN、Hermite、AHAF、SERLU、ShiLU、ReLUN、SSFG、Gumbel Cross Entropy、ScaledSoftSign、NormLinComb)。在这篇文章中，会接着上文提到的众多激活函数继续进行介绍，给大家带来更多不常见的激活函数的介绍。这里放一张激活函数的机理图：

2 激活函数

2.1 NLSIG激活函数

论文链接：From the logistic-sigmoid to nlogistic-sigmoid: modelling the COVID-19 pandemic growth

Nlogistic-sigmoid function（NLSIG）是一种现代逻辑-sigmoid函数定义，用于模拟生长（或衰变）过程。它具有两个逻辑指标（YIR 和 XIR），用于从二维（x-y 轴）角度监控增长。其数学表达式和数学图像分别如下所示：
$$y=\sigma (x)$$

关于 $\sigma$ 函数具体指代什么内容，请查阅论文（这里很难将其表现出来）。。。

NLSIG激活函数旨在模拟现实世界中真实发生的情况（不确定的、有噪声的、多重增长的），但是相对来说现有该模型很难得到广泛应用。。。。 现有深度学习还是以精度为目的，使用更多的是深度学习中使用的函数。。。

2.2 EvoNorms激活函数

论文链接：Evolving Normalization-Activation Layers

EvoNorms是一组超越现有设计模式的规范化激活层。规范化和激活统一到单个计算图中，其结构从低级基元开始演变。EvoNorms由两个系列组成：B系列和S系列。B系列是批次依赖性的，并且通过我们的方法发现，没有任何限制。S 系列适用于单个样品，并通过拒绝任何与批次相关的操作来发现。其中，B系列的内容具体如下所示：

上述内容是B系列的结构图，下面对B系列不同结构对结果的影响进行了实验，实验结果如下所示：

S系列的数学表达式如下所示：
$$f(x)=\frac{x}{\sqrt{s_{w,h,c/g}^2(x)}}\sigma (v_{1}x)$$

EvoNorms函数在当前深度神经网络上具有很好的效果，一定程度上可以代替（BN+ReLU），但是其也带来了计算复杂度的上升。同时，使用的时候需要注意如何去代替 BN+ReLU。。。。

3. 总结

到此，使用 激活函数总结（四十四） 已经介绍完毕了！！！ 如果有什么疑问欢迎在评论区提出，对于共性问题可能会后续添加到文章介绍中。如果存在没有提及的激活函数也可以在评论区提出，后续会对其进行添加！！！！

如果觉得这篇文章对你有用，记得点赞、收藏并分享给你的小伙伴们哦。