【激活函数】h-swish激活函数详解

       Swish 激活函数已经被证明是一种比 ReLU 更佳的激活函数，但是相比 ReLU，它的计 算更复杂，因为有 sigmoid 函数。为了能够在移动设备上应用 swish 并降低它的计算开销， 提出了 h-swish。

● swish 激活函数：

● h-swish 激活函数：

● 图像