深度学习_深度学习基础知识_Mish激活函数

Mish激活函数的示意图：

Mish激活函数的公式：

也可以用下面的公式表示：

Mish激活函数的优点：

以上无边界(即正值可以达到任何高度)避免了由于封顶而导致的饱和。理论上对负值的轻微允许允许更好的梯度流，而不是像ReLU中那样的硬零边界，而且平滑的激活函数允许更好的信息深入神经网络，从而得到更好的准确性和泛化。