激活函数总结（十五）：振荡系列激活函数补充(SQU、NCU、DSU、SSU)

1 引言

在前面的文章中已经介绍了介绍了一系列激活函数 (Sigmoid、Tanh、ReLU、Leaky ReLU、PReLU、Swish、ELU、SELU、GELU、Softmax、Softplus、Mish、Maxout、HardSigmoid、HardTanh、Hardswish、HardShrink、SoftShrink、TanhShrink、RReLU、CELU、ReLU6、GLU、SwiGLU、GTU、Bilinear、ReGLU、GEGLU、Softmin、Softmax2d、Logsoftmax、Identity、LogSigmoid、Bent Identity、Absolute、Bipolar、Bipolar Sigmoid、Sinusoid、Cosine、Arcsinh、Arccosh、Arctanh、LeCun Tanh、TanhExp、Gaussian 、GCU、ASU)。在这篇文章中，会接着上文提到的众多激活函数继续进行介绍，给大家带来更多不常见的激活函数的介绍。这里放一张激活函数的机理图：

最后，对于文章中没有提及到的激活函数，大家可以通过评论指出，作者会在后续的文章中进行添加补充。

2 激活函数

本文提出了四种振荡激活函数（SQU、NCU、DSU、SSU）。振荡激活函数对所有输入都是非饱和的，从而改善了梯度流并加快了收敛速度。使用振荡激活函数代替流行的单调或非单调单零激活函数，能使神经网络训练速度更快，并以更少的层数解决分类问题。

当前该系列振荡激活函数很少使用，较为常用的为GCU和ASU振荡激活函数。。。。

2.1 Shifted Quadratic Unit (SQU) 激活函数

论文链接：Biologically Inspired Oscillating Activation Functions Can Bridge the Performance Gap between Biological and Artificial Neurons

其数学表达式为和数学图像分别如下所示：
$$f(x)=x^2+x$$

2.2 Non-Monotonic Cubic Unit (NCU) 激活函数

论文链接：Biologically Inspired Oscillating Activation Functions Can Bridge the Performance Gap between Biological and Artificial Neurons

其数学表达式为和数学图像分别如下所示：
$$f(x)=x-x^3$$

2.3 Decaying Sine Unit (DSU) 激活函数

论文链接：Biologically Inspired Oscillating Activation Functions Can Bridge the Performance Gap between Biological and Artificial Neurons

$$f(x)=\pi \ast sinc(x-\pi )$$

2.4 Shifted Sinc Unit (SSU) 激活函数

论文链接：Biologically Inspired Oscillating Activation Functions Can Bridge the Performance Gap between Biological and Artificial Neurons

$$f(x)=\frac{\pi }{2}\ast (sinc(x-\pi )-sinc(x+\pi ))$$

3. 总结

到此，使用 激活函数总结（十五） 已经介绍完毕了！！！ 如果有什么疑问欢迎在评论区提出，对于共性问题可能会后续添加到文章介绍中。如果存在没有提及的激活函数也可以在评论区提出，后续会对其进行添加！！！！

如果觉得这篇文章对你有用，记得点赞、收藏并分享给你的小伙伴们哦。