激活函数总结（四十一）：激活函数补充(ShiLU、ReLUN)

1 引言

在前面的文章中已经介绍了介绍了一系列激活函数 (Sigmoid、Tanh、ReLU、Leaky ReLU、PReLU、Swish、ELU、SELU、GELU、Softmax、Softplus、Mish、Maxout、HardSigmoid、HardTanh、Hardswish、HardShrink、SoftShrink、TanhShrink、RReLU、CELU、ReLU6、GLU、SwiGLU、GTU、Bilinear、ReGLU、GEGLU、Softmin、Softmax2d、Logsoftmax、Identity、LogSigmoid、Bent Identity、Absolute、Bipolar、Bipolar Sigmoid、Sinusoid、Cosine、Arcsinh、Arccosh、Arctanh、LeCun Tanh、TanhExp、Gaussian 、GCU、ASU、SQU、NCU、DSU、SSU、SReLU、BReLU、PELU、Phish、RBF、SQ-RBF、ISRU、ISRLU、SQNL、PLU、APL、Inverse Cubic、Soft Exponential、ParametricLinear、Piecewise Linear Unit、CLL、SquaredReLU、ModReLU、CosReLU、SinReLU、Probit、Smish、Multiquadratic、InvMultiquadratic、PSmish、ESwish、CoLU、ShiftedSoftPlus、Logit、Softsign、ELiSH、Hard ELiSH、Serf、FReLU、QReLU、m-QReLU、FReLU、CReLU、KAF、Siren、ARiA、m-arcsinh、PAU、DELU、PDELU、CosLU、NFN、Hermite、AHAF、SERLU)。在这篇文章中，会接着上文提到的众多激活函数继续进行介绍，给大家带来更多不常见的激活函数的介绍。这里放一张激活函数的机理图：

2 激活函数

2.1 ShiLU激活函数

论文链接：Trainable Activations for Image Classification

Shifted Rectified Linear Unit (ShiLU) 是对具有可训练参数的ReLU激活函数的修改。其数学表达式和数学图像分别如下所示：

$$ShiLU(x)=\alpha ReLU(x)+\beta$$
优点：

• 可训练参数：参数 $\alpha$ 和 $\beta$ 都是可训练参数，可以适应更复杂的模型和数据

缺点：

• 未摆脱ReLU的缺点：虽然说 ShiLU 是 ReLU的改进，但是 ShiLU 仍未解决其缺点
• 难以训练：参数更多导致模型更加难以训练到满意的程度

该算法只是在预印文章中提出，其有效性和合理性还有待验证。。。另外，根据该算法的结构可以确定与最新算法相比，其并不能具有一个好效果。。。

2.2 ReLUN激活函数

论文链接：Trainable Activations for Image Classification

Rectified Linear Unit N (ReLUN) 是对具有可训练参数 n 的 ReLU6 激活函数的修改。其数学表达式和数学图像分别如下所示：

$$ReLUN(x)=min(max(0,x),n)$$

优点：

• 可训练参数：增加了可训练参数，可以适应更复杂的任务。

缺点：

• 难以训练：增加了训练的参数，使模型更难以训练。

该算法只是在预印文章中提出，其有效性和合理性还有待验证。。。另外，虽然该激活函数增加了一个可训练参数，但是从ReLU的特点来说：增加该参数并不能起到很好的效果，反而有点画蛇添足的作用，破坏了ReLU简单、快速的特点。。。

3. 总结

到此，使用 激活函数总结（四十一） 已经介绍完毕了！！！ 如果有什么疑问欢迎在评论区提出，对于共性问题可能会后续添加到文章介绍中。如果存在没有提及的激活函数也可以在评论区提出，后续会对其进行添加！！！！

如果觉得这篇文章对你有用，记得点赞、收藏并分享给你的小伙伴们哦。