AMiner推荐论文：SMU: smooth activation function for deep networks using smoothing maximum technique

论文链接：
https://www.aminer.cn/pub/6189e6d15244ab9dcb76ebc9?f=cs
神经网络是深度学习的支柱。激活函数是神经网络的大脑，在深度神经网络的有效性和训练中起着核心作用。ReLU由于其简单性而成为深度学习领域的常用选择。尽管它很简单，但ReLU有一个主要的缺点，即ReLU死亡问题，在这种情况下，多达50%的神经元在网络训练期间死亡。
为了克服ReLU的不足，近年来提出了大量的激活方法，其中Leaky ReLU、Parametric ReLU 、ELU、Softplus、随机化Leaky ReLU是其中的几种，它们在一定程度上改善了ReLU的性能。
Swish是谷歌脑组提出的非线性激活函数，对ReLU有一定的改善；GELU是另一种常用的平滑激活函数。可以看出，Swish和GELU都是ReLU的光滑近似。近年来，人们提出了一些提高ReLU、Swish或GELU性能的非线性激活方法，其中一些是ReLU或Leaky ReLU的光滑逼近方法，还有TanhSoft、EIS、Padé激活单元、正交Padé激活单元、Mish、ErfAct等。
maximum function在原点处是非光滑的。在本文中，作者将探讨maximum function的平滑逼近如何影响网络的训练和性能。
AMiner,让AI帮你理解科学！https://www.aminer.cn